CN102193730B - 图像处理设备，图像处理方法和程序 - Google Patents

图像处理设备，图像处理方法和程序 Download PDF

Info

Publication number
CN102193730B
CN102193730B CN201110049928.5A CN201110049928A CN102193730B CN 102193730 B CN102193730 B CN 102193730B CN 201110049928 A CN201110049928 A CN 201110049928A CN 102193730 B CN102193730 B CN 102193730B
Authority
CN
China
Prior art keywords
image
personage
size
unit
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110049928.5A
Other languages
English (en)
Other versions
CN102193730A (zh
Inventor
长谷川雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102193730A publication Critical patent/CN102193730A/zh
Application granted granted Critical
Publication of CN102193730B publication Critical patent/CN102193730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

提供一种图像处理设备，包括：检测单元，所述检测单元检测由成像单元通过摄像而获得的图像数据产生的图像中的整个人物或者人物的一部分；位置/大小计算单元，所述位置/大小计算单元计算检测的图像中的整个人物或者人物的一部分的大小和位置；和GUI部署单元，所述GUI部署单元根据计算的大小和位置，在图像上部署将通过重叠在由图像数据产生的图像上而显示的图形用户界面(GUI)元件。

Description

图像处理设备，图像处理方法和程序
技术领域
本发明涉及一种图像处理设备，图像处理方法和程序。
背景技术
诸如移动音乐播放器和数字照片浏览器之类的消费电子产品(下面称为“CE电器”)的远程操作一般由用户操作遥控器进行。不过，就这种方法来说，需要称为“遥控器”的设备。为此，还存在一种使用户能够在不利用遥控器的情况下，借助由用户的身体和/或手做出的姿势，操作电器的技术。
例如，存在一种利用3D传感器来检测反射图像中，对应于人物的区域和身体运动的技术，所述3D传感器能够通过发射红外光和测量反射光获得深度信息。还有一种利用普通照相机，并且主要把视频图像中的运动区域识别成人物的身体运动的技术。作为一个例子，应用这些技术的视频游戏已被商业化。
例如，日本公开特许公报No.2008-40576和2004-78977，及日本公开特许公报(翻译后的PCT申请)No.2009-519552公开利用普通照相机特别识别人手的形状，并根据手的形状图案和位置的变化，来识别手势的技术。作为提出的这种技术的扩展，提出了从视频图像中识别手或人物本身的技术，如在日本公开特许公报No.2009-140283中公开的那样。
把视频图像中人的手或身体的形状和/或位置的变化识别成手势的方法有两种。一种方法专注于已识别的人的手或身体的相对变化。如图11A中所示，识别手的形状，并计算手的位置的相对变化。图11A和11B是用于表示图像显示设备30的屏幕的示图，表示在用软件操作音乐播放器的状态。音乐CD的封套照片55和窗口(图像框)50被显示在图像显示设备30的屏幕上，在所述窗口中，显示由照相机10拾取的用户80的图像。
如图10中所示，照相机10安装在图像显示设备30上。图10是用于表示用户1，照相机10和图像显示设备30之间的关系的示图。一旦识别出用户的手82，就在用户1做手势的时候，继续进行识别，当手下次被识别为手83时，手82和手83之间的相对变化被确定为手势。
如图11B中所示，另一种方法识别手84的形状，并利用手84的绝对位置。显示在窗口50中的图像的绝对坐标被用于计算识别的手84的坐标位置。窗口50中的手84随后与通过覆盖(重叠)在图像中的设定位置而显示的GUI元件，比如按钮52交互作用。
不过，当图10中所示的照相机10和用户1之间的距离变化时，图中的用户80的大小也变化。即，如果照相机10和用户1之间的距离较近，那么在窗口50中的图像中，用户80将显得较大，如图12A中所示，而如果照相机10和用户1之间的距离较远，那么在窗口50中的图像中，用户80将显得较小，如图12B中所示。
为此，当用户1在照相机10前面的某一位置时，在当用户80在屏幕上显得较大时和当用户80在屏幕上显得较小时之间，手84可在图像内移动的范围将不同。当用户在屏幕上显得较大时，如图12A中所示，手84能够在范围62中移动，不过当用户在屏幕上显得较小时，如图12B中所示，手84只能够在范围64中移动。因此，如果通过覆盖而显示的诸如按钮之类的GUI元件总是被置于相对于窗口50设定的相同位置，那么当用户80在屏幕上显得较小时，用户1需要在照相机10前面来回走动，以便触及诸如按钮52之类的GUI元件。图12A和12B是用于表示显示在窗口50中的图像的示图。
在公报No.2009-519552中，尽管出现如图12A和12B中所示，图像中的用户的大小按照照相机和用户之间的距离的变化而变化的问题，不过未对该问题给予任何考虑。公报No.2004-78977未把用照相机拾取的图像用作GUI显示。不过，存在为了触及虚拟开关(所述虚拟开关是GUI元件)，用户需要移动的距离按照照相机和用户之间的距离而变化的问题。
发明内容
鉴于上述问题，构思了本发明，本发明的目的是提供一种能够可靠地把GUI元件部署在图像中，用户易于操作的位置的新的改进的图像处理设备，图像处理方法和程序。
按照本发明的一个实施例，提供一种图像处理设备，所述图像处理设备包括检测单元，所述检测单元检测由成像单元通过摄像而获得的图像数据产生的图像中的整个人物或者人物的一部分，位置/大小计算单元，所述位置/大小计算单元计算检测的图像中的整个人物或者人物的一部分的大小和位置，和GUI部署单元，所述GUI部署单元根据计算的大小和位置，在图像上部署将通过重叠在由图像数据产生的图像上而显示的图形用户界面(GUI)元件。
图像处理设备还可包括提取单元，所述提取单元根据计算的大小和位置，提取为由图像数据产生的图像的一部分的区域，和放大处理单元，所述放大处理单元按照显示图像的屏幕的大小，放大提取的作为图像的一部分的区域。
GUI部署单元可把GUI元件部署在能够被图像中的人物的手触及的范围中。
按照本发明的另一个实施例，提供一种图像处理方法，所述图像处理方法包括检测由成像单元通过摄像而获得的图像数据产生的图像中的整个人物或者人物的一部分，计算检测的图像中的整个人物或者人物的一部分的大小和位置，和根据计算的大小和位置，在图像上部署将通过重叠在由图像数据产生的图像上而显示的图形用户界面(GUI)元件。
按照本发明的另一个实施例，提供一种使计算机执行下述步骤的程序：检测由成像单元通过摄像而获得的图像数据产生的图像中的整个人物或者人物的一部分，计算检测的图像中的整个人物或者人物的一部分的大小和位置，和根据计算的大小和位置，在图像上部署将通过重叠在由图像数据产生的图像上而显示的图形用户界面(GUI)元件。
按照上面说明的本发明的实施例，能够可靠地把GUI元件部署在图像中用户易于操作的位置。
附图说明
图1是表示按照本发明的一个实施例的图像处理设备100的方框图；
图2是表示按照相同实施例的图像处理设备100的操作的流程图；
图3是用于表示图像显示设备30的屏幕的示图；
图4A和4B是用于表示照相机图像160，和图像显示设备30的屏幕的示图；
图5是用于表示图像显示设备30的屏幕的示图；
图6是用于表示照相机图像160的示图；
图7是用于表示由照相机10产生的图像160的绝对坐标系，和从图像160中提取的关注区162的示图；
图8是用于表示显示在窗口150中的图像的示图；
图9是用于表示照相机10产生的图像160的绝对坐标系的示图；
图10是用于解释用户1，照相机10和图像显示设备30之间的关系的示图；
图11A和11b是用于表示图像显示设备30的屏幕的示图；和
图12A和12B是用于表示显示在窗口50中的图像的示图。
具体实施方式
下面参考附图，详细说明本发明的优选实施例。注意，在说明书和附图中，功能和结构基本相同的结构元件用相同的附图标记表示，这些结构元件的重复说明被省略。
下面的说明是按照下述顺序进行的。
1.实施例的结构
2.实施例的操作
3.决定关注区的方法
1.实施例的结构
首先，将参考图1，说明按照本发明的一个实施例的图像处理设备100的结构。图1是表示按照本实施例的图像处理设备100的方框图。
按照本实施例的图像处理设备100连接到照相机10，图像显示设备30等等。图像处理设备100可以与图像显示设备30结合在一起，比如就电视机，移动音乐播放器或者数字照片浏览器来说，或者可以是独立于图像显示设备30提供的个人计算机等等。
在照相机10中，经透镜12接收来自被摄物体的光，成像元件14生成电信号。照相机10是“成像单元”的一个例子。图像处理设备100接收来自照相机10的信号，并进行图像信号处理。图像显示设备30是液晶显示器等等，根据由图像处理设备100生成的图像信号，在屏幕上显示图像。
如图10中所示，照相机10安装在图像显示设备30上，拾取位于图像显示设备30前面的用户1的图像，以致用户1被显示在屏幕上。图像处理设备100把与应用的各种操作对应的GUI元件54显示在屏幕上。这意味通过做手势，比如用出现在屏幕上的他/她的手触及GUI元件，用户1能够操作应用。结果，能够通过用户1的移动来操作电器，而不用提供和使用诸如遥控器之类的设备。
如图1中所示，作为一个例子，图像处理设备100包括CPU102，外部介质控制器104，照相机信号处理单元112，面部检测单元114，关注区决定单元116，图像缩放单元118，GUI描画单元122，手势识别单元124，图像显示驱动单元126，等等。
CPU102进行计算处理和图像处理设备100的组成元件的控制。外部介质控制器104相对于连接到图像处理设备100的记录介质22传送和接收数据。例如，记录介质22是光盘，比如蓝光光盘或DVD，或者磁性介质，比如硬盘驱动器。记录介质22保存由照相机10拾取的图像，由各种应用生成的文件，等等。图像处理设备100还连接到RAM20。
根据从照相机10接收的信号，照相机信号处理单元112进行各种图像处理，比如增益调整和轮廓增强，从而生成已经过图像处理的图像数据。
面部检测单元114起与照相机10结合的“检测单元”的作用，根据由照相机10通过成像获得并经过图像处理的图像数据，从拾取的图像中检测用户的面部。由于能够利用任何常用技术作为面部检测处理，因此说明书中省略对其的详细说明。
面部检测单元114是“位置/大小计算单元”的一个例子，计算图像中面部的大小和位置。这样，能够知道图像中面部的大小和位置，从而能够识别出人物占据图像中的较大区域，还是人物占据较小区域。还可识别出人物是位于图像的中央附近，还是人物位于远离中央的位置。与计算的面部的大小和位置相关的信息被发给GUI描画单元122。
注意，尽管在本实施例中说明了面部检测单元114被用作检测人物的一部分的检测单元的情况，不过检测单元并不局限于此。例如，可以使用从图像数据中检测整个人物的人物检测装置，或者可以使用检测除作为人物的一部分的面部之外的一部分的检测装置。
另外，检测单元并不局限于利用由照相机10拾取的图像数据。例如，代替照相机10，可使用三维传感器，运动检测传感器，热传感器，超声波传感器，红外传感器等等。在这种情况下，根据由各种传感器获得的检测数据，检测已由照相机10拾取其图像的人物的全体或部分。通过代替照相机10，利用各种传感器，并按照传感器获得的检测数据得到人物和传感器之间的距离，能够根据到人物的距离，估计图像中的人物的大小。
关注区决定单元116是“提取单元”的一个例子，根据计算的面部的大小和位置，提取图像的整个区域，或者为图像的一部分的区域。例如，如果人物在远处和/或在图像的一侧，那么作为图像的一部分的区域被提取为关注区，以致在进行了提取处理和放大处理之后的图像中，人物的大小和位置将是适当的。如果人物在图像中的适当位置，那么图像的整个区域被提取为关注区。
如果作为图像的一部分的区域已被提取，那么图像缩放单元118按照显示图像的屏幕，放大构成图像的一部分的提取区域。这样，能够显示已被放大的图像中的人物。
GUI描画单元122显示覆盖在由图像数据产生的图像上的GUI元件。GUI元件是与应用等的各种操作对应的按钮，图标等等。GUI描画单元122是“GUI部署单元”的一个例子，根据计算的图像中的人物面部的大小和位置，在图像中部署GUI元件。当这样做时，GUI描画单元122把GUI元件部署于在人物不必移动的情况下，对图像中的人物的手来说，易于触及所述GUI元件的范围中。这样，人物易于做出诸如触摸图像中的GUI元件之类的操作。
手势识别单元124识别图像中的人物的手的形状，并根据手的形状图案和位置的变化，识别手势。由于能够利用任何常用技术作为手势识别处理，因此在本说明书中将省略其详细说明。手势识别单元124利用图像中的绝对坐标计算识别的手的坐标位置。手势识别单元124随后识别由GUI描画单元122部署的GUI元素和手是否相重合，和识别手在GUI元件上的操作。手势识别单元124生成操作与手势对应的应用的操作信号。
图像显示驱动单元126根据由照相机10通过成像而获得的图像数据，和与GUI元件相关的图像数据，生成用于在图像显示设备30的屏幕上显示图像的图像信号。图像显示驱动单元126把生成的图像信号发给图像显示设备30。这样，图像显示设备30能够在屏幕上显示重叠在照相机10产生的图像上的GUI元件。
2.实施例的操作
下面说明按照本实施例的图像处理设备100的操作。图2是表示按照本实施例的图像处理设备100的操作的流程图。
首先，照相机10拾取在图像显示设备30前面的用户1的图像。之后，根据通过用照相机10成像而获得的并且经过图像处理的图像数据，从表示在图6中的上部图像中的照相机图像160中，检测用户的面部区域164(步骤S1)。如果检测到用户的面部，那么计算图像中的面部的大小和位置。
随后，根据计算的面部的大小和位置，提取构成图像的部分或整体的区域作为关注区162，如在图6中的上部图像中所示(步骤S2)。例如，当如图3中所示，在没有修改的情况下，把照相机图像显示在图像显示设备30上时，如果在窗口150中的图像中的用户80的大小和位置是适当的，那么图像的整个区域被提取为关注区。同时，如图4A中所示，在用户在照相机图像160中显得较小，和用户被置于照相机图像160中的一侧的这种情况下，构成图像的一部分的区域被提取为关注区162。
注意如在图6中的下部图像中所示，还可使用人物检测从照相机图像160中检测人物区域166，和根据人物区域166提取关注区162。
随后，当照相机图像被显示在图像显示设备30时，调整图像的放大倍率(变焦)(步骤S3)。可借助电子变焦或者借助利用照相机10的变焦机构的机械变焦，进行放大倍率的调整。作为一个例子，如图3中所示，如果在窗口150中的图像中的用户80的大小和位置是适当的，那么不进行放大倍率的调整。同时，如图4A中所示，如果当用户在照相机图像160中显得较小时，按照窗口150放大关注区162，并把关注区162显示成放大的图像，如图4B中所示。这样，能够相对于用户，始终使GUI的可用性保持相同，而不管用户1和照相机10之间的距离。
注意即使当如图4A中所示，用户在照相机图像160中显得较小时，也能够在不对照相机图像160的大小进行任何调整的情况下，把图像显示在窗口150中，如图5中所示。
随后，如果图像的一部分被决定为关注区，那么按照显示图像的屏幕，放大作为图像的一部分的提取区域。如果整个区域被决定为关注区，那么不进行放大处理。
之后，根据计算的图像中的面部的大小和位置，把GUI元件部署在图像中的适当位置。接下来，显示覆盖在由图像数据产生的图像上的GUI元件(步骤S4)。例如，如图3和4B中所示，在用户80附近显示诸如按钮152之类的GUI元件。另外，如图5中所示，即使图像不被放大，诸如按钮152之类的GUI元件也被部署在用户附近。这样，用户总是能够触摸和操作GUI元件，而不用移动。
随后，识别图像中的人的手的形状，并根据手的形状图案和/或位置的变化，识别手势(步骤S5)。例如，识别GUI元件和手的重合，和手对GUI元件的操作。之后，对应于所述手势，生成操作应用的操作信号。这样，能够通过手势操作应用。
3.决定关注区的方法
下面说明利用检测的面部区域的关注区的决定。图7是用于表示由照相机10产生的图像160的绝对坐标系，和从图像160中提取的关注区162的示图。
首先参考图7，说明决定关注区162的大小和位置的方法。
一旦在图像中检测到面部，面部检测单元114就计算和输出在照相机10产生的图像160的绝对坐标系中的面部位置(x0，y0)和面部大小S。当这样做时，如果关注区162的大小为W×H，并且关注区162的位置为(L，T)，W、H、L和T用下面的相应等式1-4表述。
W＝wS......(等式1)
H＝hS......(等式2)
L＝x0-mW......(等式3)
T＝y0-nH......(等式4)
这里，w，h是根据面部大小S，决定关注区162的大小W×H的参数。另外，m，n是满足下面给出的决定关注区162的位置(L，T)的条件(等式5和6)的参数。
0≤m≤1......(等式5)
0≤n≤1......(等式6)
下面，说明决定用上面给出的等式表述的关注区162的位置的方法。
首先，如在图8中的上部图像中所示，说明其中设定关注区162，以致检测的面部区域在中央的情况。
这里，当作为一个例子，设定w＝h＝6时，如下所示决定参数m和n，
m = 1 - S W 2 等式(7)
n = 1 - S H 2 等式(8)
如在图8中的上部图像中所示，能够决定关注区162的位置，以致面部区域154在关注区162的中央。
现在说明其中如图8中的下部图像中所示，设定关注区162，以致检测的面部区域在高度方向的中央，和在水平方向的右侧的情况。
这里，当作为一个例子，设定w＝h＝6时，参数m由上面的等式8给出，参数m被决定为
m＝2/3......(等式9)
如在图8中的下部图像中所示，能够决定关注区162的位置，以致面部区域154在关注区162的右侧。
注意上面给出的参数的设置只是例子，本发明并不局限于这样的例子。也可按各种方式设定参数。
下面，说明当利用照相机10检测整个人物时，和当使用除照相机10之外的各种传感器时，决定关注区的方法。图9是用于表示由照相机10产生的图像160的绝对坐标系的示图。
即使代替面部检测单元114，使用检测整个人物的人物检测装置，首先也要按照和当面部检测单元114根据面部位置和面部大小决定关注区时相同的方式，计算和输出人物的位置(x0，y0)和大小S。之后，能够按照和进行面部检测时相同的方式，决定关注区162的大小W×H和关注区162的位置(L，T)。
另外，即使代替照相机10，使用一种不同类型的人物传感器，比如三维传感器，运动检测传感器，热传感器，超声波传感器或者红外传感器，通过利用传感器输出的位置(x0，y0)和大小S，也能够决定关注区的大小和位置。
由于按照上面说明的实施例，能够在用户的手能够触及的范围中，在图像中描画GUI元件，因此对用户来说，在坐在或站在照相机前面的时候，仅仅通过伸出他/她的手，就能够与GUI元件交互作用，而不必移动。按照惯例，当部署GUI元件时，不考虑照相机和人物之间的位置关系。相反，就本实施例来说，注意照相机和人物之间的位置关系，当图像中的人物的大小和/或位置变化时，图像中的可部署GUI元件的区域被改变，GUI元件被部署在适当的位置。结果，用户总是易于操作图像中的GUI元件。
尽管上面关于附图，详细说明了本发明的优选实施例，不过本发明并不局限于上面的例子。本领域的技术人员应明白，根据设计要求和其它各种因素，可以做出各种修改、组合、子组合和变化，只要它们在附加权利要求或其等同物的范围之内。
本申请包含与在2010年3月10日向日本专利局提交的日本优先权专利申请JP2010-052920中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims (3)

1.一种图像处理设备，包括：
检测单元，所述检测单元检测由成像单元通过图像拾取而获得的图像数据产生的图像中的整个人物或者人物的面部；
位置/大小计算单元，所述位置/大小计算单元计算检测的图像中的整个人物或者人物的面部的大小和位置；
GUI部署单元，所述GUI部署单元根据计算的大小和位置，在图像上部署将通过重叠在由图像数据产生的图像上而显示的图形用户界面GUI元件；
提取单元，所述提取单元根据计算的大小和位置，提取作为由图像数据产生的图像的一部分的区域；和
放大处理单元，所述放大处理单元按照显示图像的屏幕的大小，放大提取的作为图像的一部分的区域，
其中，人物的面部位于作为图像的一部分的区域的中央，在放大提取的作为图像的一部分的区域之后，GUI部署单元在图像上部署GUI元件。
2.按照权利要求1所述的图像处理设备，
其中GUI部署单元把GUI元件部署在能够被图像中的人物的手触及的范围中。
3.一种图像处理方法，所述图像处理方法包括下述步骤：
检测由成像单元通过图像拾取而获得的图像数据产生的图像中的整个人物或者人物的面部；
计算检测的图像中的整个人物或者人物的面部的大小和位置；
根据计算的大小和位置，在图像上部署将通过重叠在由图像数据产生的图像上而显示的图形用户界面GUI元件；
根据计算的大小和位置，提取作为由图像数据产生的图像的一部分的区域；以及
按照显示图像的屏幕的大小，放大提取的作为图像的一部分的区域，
其中，人物的面部位于作为图像的一部分的区域的中央，在放大提取的作为图像的一部分的区域之后，在图像上部署GUI元件。
CN201110049928.5A 2010-03-10 2011-03-02 图像处理设备，图像处理方法和程序 Active CN102193730B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-052920 2010-03-10
JP2010052920A JP5659510B2 (ja) 2010-03-10 2010-03-10 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN102193730A CN102193730A (zh) 2011-09-21
CN102193730B true CN102193730B (zh) 2016-07-06

Family

ID=44559532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110049928.5A Active CN102193730B (zh) 2010-03-10 2011-03-02 图像处理设备，图像处理方法和程序

Country Status (3)

Country Link
US (2) US9075442B2 (zh)
JP (1) JP5659510B2 (zh)
CN (1) CN102193730B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625643B2 (ja) * 2010-09-07 2014-11-19 ソニー株式会社 情報処理装置、および情報処理方法
JP5857183B2 (ja) * 2011-10-20 2016-02-10 パナソニックＩｐマネジメント株式会社 ジェスチャー解読装置
JP2013152711A (ja) * 2011-12-28 2013-08-08 Nikon Corp 投影装置及び表示装置
CN107610627A (zh) 2011-12-28 2018-01-19 株式会社尼康 显示装置以及投影装置
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
KR20140114832A (ko) 2012-01-20 2014-09-29 톰슨 라이센싱 사용자 인식 방법 및 장치
JP5964603B2 (ja) * 2012-02-08 2016-08-03 シャープ株式会社 データ入力装置、及び表示装置
JP5646532B2 (ja) * 2012-03-26 2014-12-24 ヤフー株式会社 操作入力装置、操作入力方法、及び、プログラム
EP2856754A4 (en) * 2012-05-31 2016-01-20 Intel Corp VIDEO POST-PROCESSING ON NON-INTERFACE PLATFORMS TO PROCESS VIDEO POST-PROCESSING REQUEST FROM A VIDEO PLAYER
JP5935529B2 (ja) 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9001216B2 (en) * 2012-10-12 2015-04-07 Sony Corporation Method and apparatus for video streaming
JP2014089521A (ja) * 2012-10-29 2014-05-15 Toshiba Corp 検出装置、映像表示システムおよび検出方法
CN106663365B (zh) * 2014-07-17 2019-12-10 飞利浦灯具控股公司 基于用户输入获得控制系统的手势区域定义数据的方法
CN107493495B (zh) * 2017-08-14 2019-12-13 深圳市国华识别科技开发有限公司 交互位置确定方法、系统、存储介质和智能终端
US11106949B2 (en) * 2019-03-22 2021-08-31 Microsoft Technology Licensing, Llc Action classification based on manipulated object movement
CN111107418B (zh) * 2019-12-19 2022-07-12 北京奇艺世纪科技有限公司 视频数据处理方法、装置、计算机设备和存储介质
JP7336553B2 (ja) * 2022-02-07 2023-08-31 三菱電機Ｉｔソリューションズ株式会社 処理実行装置、処理実行方法及び処理実行プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1393003A (zh) * 2000-10-06 2003-01-22 索尼计算机娱乐公司 图像处理机、图像处理方法、记录介质、计算机程序和半导体设备
WO2009031457A1 (en) * 2007-09-04 2009-03-12 Canon Kabushiki Kaisha Image projection apparatus and control method for same
WO2009031633A1 (en) * 2007-09-04 2009-03-12 Canon Kabushiki Kaisha Image projection apparatus and control method for same

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038263A (ja) * 2003-07-16 2005-02-10 Canon Inc 画像処理装置、画像処理方法、記録媒体及びプログラム
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP2008040576A (ja) 2006-08-02 2008-02-21 Sharp Corp 画像処理システム及び該システムを備えた映像表示装置
JP4939959B2 (ja) * 2007-02-02 2012-05-30 ペンタックスリコーイメージング株式会社 携帯機器
US20080189661A1 (en) * 2007-02-06 2008-08-07 Jazzbo Technology Inc. Video user interface
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101784980B (zh) * 2008-06-02 2013-09-18 松下电器产业株式会社 遥控操作装置及遥控操作方法
JP2010096962A (ja) * 2008-10-16 2010-04-30 Fujinon Corp Ａｆ枠自動追尾機能を備えたオートフォーカスシステム
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1393003A (zh) * 2000-10-06 2003-01-22 索尼计算机娱乐公司 图像处理机、图像处理方法、记录介质、计算机程序和半导体设备
WO2009031457A1 (en) * 2007-09-04 2009-03-12 Canon Kabushiki Kaisha Image projection apparatus and control method for same
WO2009031633A1 (en) * 2007-09-04 2009-03-12 Canon Kabushiki Kaisha Image projection apparatus and control method for same

Also Published As

Publication number Publication date
US20150379747A1 (en) 2015-12-31
US9075442B2 (en) 2015-07-07
CN102193730A (zh) 2011-09-21
US20110221768A1 (en) 2011-09-15
JP2011186892A (ja) 2011-09-22
US9454837B2 (en) 2016-09-27
JP5659510B2 (ja) 2015-01-28

Similar Documents

Publication Publication Date Title
CN102193730B (zh) 图像处理设备，图像处理方法和程序
KR101545883B1 (ko) 단말의 카메라 제어 방법 및 그 단말
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US20170345219A1 (en) Wearable augmented reality devices with object detection and tracking
KR101800617B1 (ko) 디스플레이 장치 및 이의 화상 통화 방법
TWI428798B (zh) Information processing devices, information processing methods and program products
JP5413250B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR20110066901A (ko) 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
JP2012113715A (ja) オブジェクトの動きを用いたアイテム選択装置及び方法
JP5769277B2 (ja) 入力装置、入力方法及びプログラム
TW200951777A (en) Image recognizing device, operation judging method, and program
CN103870773A (zh) 用于显示数据的方法和装置
KR20120033246A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
JP5228074B2 (ja) 情報処理装置、表示制御方法
KR102655625B1 (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
CN101674435A (zh) 图像显示设备和检测方法
JP2003316510A (ja) 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
WO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
KR20160088719A (ko) 이미지를 촬영하는 전자 장치 및 방법
KR20090116544A (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
JP2007264006A (ja) 画像観賞システム、画像表示装置、電子式写真立て、データハンドリング装置、画像表示方法、データハンドリング方法、画像表示プログラムおよびデータハンドリングプログラム
KR100983051B1 (ko) 깊이 센서 방식의 공간 터치 감지 장치, 방법 및 스크린장치
US10007329B1 (en) Drift cancelation for portable object detection and tracking
KR20140097876A (ko) 영상 촬영 제어 방법 및 장치
US20150262013A1 (en) Image processing apparatus, image processing method and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant