JP2013257762A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2013257762A
JP2013257762A JP2012133786A JP2012133786A JP2013257762A JP 2013257762 A JP2013257762 A JP 2013257762A JP 2012133786 A JP2012133786 A JP 2012133786A JP 2012133786 A JP2012133786 A JP 2012133786A JP 2013257762 A JP2013257762 A JP 2013257762A
Authority
JP
Japan
Prior art keywords
image
operation target
image processing
processing apparatus
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012133786A
Other languages
English (en)
Other versions
JP2013257762A5 (ja
JP5935529B2 (ja
Inventor
Shu Shigeta
脩 繁田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012133786A priority Critical patent/JP5935529B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP13730945.6A priority patent/EP2862041B1/en
Priority to PCT/JP2013/003116 priority patent/WO2013186986A1/en
Priority to RU2014149214A priority patent/RU2014149214A/ru
Priority to BR112014030585A priority patent/BR112014030585A2/pt
Priority to CN201380029940.7A priority patent/CN104335143A/zh
Priority to US14/380,812 priority patent/US9509915B2/en
Publication of JP2013257762A publication Critical patent/JP2013257762A/ja
Publication of JP2013257762A5 publication Critical patent/JP2013257762A5/ja
Application granted granted Critical
Publication of JP5935529B2 publication Critical patent/JP5935529B2/ja
Priority to US15/337,029 priority patent/US10073534B2/en
Priority to US16/108,172 priority patent/US10671175B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Abstract

【課題】ユーザの操作性の低下の防止を図りつつ、撮像画像と操作対象画像とを表示画面に表示させることが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定する領域設定部と、撮像画像のうちの表示画面に表示させる操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成する画像処理部と、合成された画像を、表示画面に表示させる表示制御部と、を備える、画像処理装置が提供される。
【選択図】図２３

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
近年、電子機器などの装置の高機能化や多機能化がますます進んでおり、ユーザが装置を使用するために当該装置に対して与えなければならない指示の内容は、より多様化、複雑化している。このような中、多くの装置ではユーザインタフェースとしてＧＵＩ（Graphical User Interface）が採用されており、ユーザは、ＣＵＩ（Character User Interface）が採用されている装置を用いる場合よりも、より容易に装置に指示を与えることが可能となっている。しかしながら、例えば、マウスなどのポインティングデバイスを用いた操作に慣れていないユーザにとっては、ポインティングデバイスを用いて操作が行われるＧＵＩは必ずしも操作性のよいユーザインタフェースではない。
このような中、操作性を向上させるためのユーザインタフェースに係る技術が開発されている。撮像画像と、所定のイベントに関連付けられたオブジェクトに係るオブジェクト画像とを合成した画像を表示画面に表示させる技術としては、例えば、特許文献１に記載の技術が挙げられる。
特開２００５−２１６０６１号公報
例えば特許文献１に記載の技術を用いる場合のように、撮像画像（または、撮像した画像に基づく鏡面画像。以下、同様とする。）と、所定のイベントに関連付けられたオブジェクトに係るオブジェクト画像とを合成した画像を表示画面に表示させることによって、ユーザに対して自己のジェスチャ動作をフィードバックすることが可能となる。
しかしながら、例えば特許文献１に記載の技術は、撮像画像から検出されるユーザの位置に応じてオブジェクト画像を合成する位置を変えるものである。そのため、例えばＷｅｂページのように、ボタンやアイコンなどのユーザによる操作可能な、操作の対象となるオブジェクト（以下、「操作対象オブジェクト」と示す。）が含まれる操作対象画像と、撮像画像とを合成する場合において、例えば特許文献１に記載の技術を適用することは、困難である。よって、例えば特許文献１に記載の技術に係る処理は、必ずしもジェスチャ認識を意識した処理であるとは限らない。
本開示では、ユーザの操作性の低下の防止を図りつつ、撮像画像と操作対象画像とを表示画面に表示させることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
本開示によれば、ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定する領域設定部と、上記撮像画像のうちの表示画面に表示させる上記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成する画像処理部と、合成された画像を、表示画面に表示させる表示制御部と、を備える、画像処理装置が提供される。
また、本開示によれば、ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップと、
上記撮像画像のうちの表示画面に表示させる上記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップと、
合成された画像を、表示画面に表示させるステップと、
を有する、画像処理方法が提供される。
また、本開示によれば、ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップ、上記撮像画像のうちの表示画面に表示させる上記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップ、合成された画像を、表示画面に表示させるステップ、をコンピュータに実行させるためのプログラムが提供される。
本開示によれば、ユーザの操作性の低下の防止を図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
本実施形態に係る領域設定処理の一例を説明するための説明図である。 本実施形態に係る領域設定処理の一例を説明するための説明図である。 本実施形態に係る領域設定処理の一例を説明するための説明図である。 本実施形態に係る領域設定処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置が設定する操作対象領域の一例を説明するための説明図である。 本実施形態に係る画像処理装置が、表示対象領域と操作対象領域とを分けて設定することによる効果の一例を説明するための説明図である。 本実施形態に係る領域設定処理の他の例を説明するための説明図である。 本実施形態に係る、操作対象領域における認識の範囲外にユーザが近づいたことをユーザに通知する方法の一例を説明するための説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る操作対象画像の一例を示す説明図である。 本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図である。 本実施形態に係る表示対象領域よりも大きな所定の領域の一例を示す説明図である。 本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図である。 本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
［１］本実施形態に係る画像処理方法の概要
ユーザにジェスチャ動作をフィードバックするための撮像画像と、操作対象画像とを表示画面に表示する方法としては、例えば、撮像画像と操作対象画像とを合成して表示画面に表示させる方法が考えられる。
しかしながら、単に撮像画像と操作対象画像とを合成して表示画面に表示させる方法を用いる場合には、例えば、ユーザが、表示画面内に配置されている操作対象オブジェクトを操作することができないことが起こりうる。ユーザが、表示画面内に配置されている操作対象オブジェクトを操作することができない場合としては、例えば、ユーザが手を動かしても、表示画面の画面端に配置されている操作対象オブジェクトに手が届かない場合などが挙げられる。よって、単に撮像画像と操作対象画像とを合成して表示画面に表示させる方法を用いる場合には、ユーザの操作性が低下する恐れがある。
そこで、本実施形態に係る画像処理装置は、撮像画像の一部に操作対象領域を設定する（領域設定処理）。また、本実施形態に係る画像処理装置は、撮像画像のうちの表示画面に表示させる操作対象領域に対応する領域（以下、「表示対象領域」と示す。）の画像と、操作対象画像とを合成する（画像処理）。そして、本実施形態に係る画像処理装置は、合成された画像を表示画面に表示させる（表示制御処理）。
ここで、本実施形態に係る撮像画像とは、例えば、外部の撮像装置、または、本実施形態に係る画像処理装置が撮像部（後述する）を備える場合には当該撮像部（後述する）によって撮像された画像に対して、鏡像処理（左右反転処理）が施された画像である。本実施形態に係る撮像画像は、ユーザにジェスチャ動作をフィードバックする役目を果たす。撮像画像が合成された画像が、表示画面に表示されることによって、ユーザは、例えば、自己の手をスライドさせる、自己の手を用いて押す操作を行う、複数本の指で拡大操作、縮小操作、移動操作を行うなど、自己のジェスチャの内容を視覚的に確認することができる。ここで、鏡像処理は、本実施形態に係る画像処理装置が行ってもよいし、または、撮像を行った撮像装置などの外部装置において行われてもよい。また、本実施形態に係る撮像画像としては、例えば、動画像（または、複数の静止画像）が挙げられる。以下では、本実施形態に係る撮像画像が、複数のフレーム画像からなる動画像である場合を例に挙げて説明する。
また、本実施形態に係る外部の撮像装置、撮像部（後述する）としては、例えば、ＲＧＢの輝度情報が取得可能なカメラが挙げられるが、本実施形態に係る外部の撮像装置、撮像部（後述する）は、上記に限られない。例えば、本実施形態に係る外部の撮像装置、撮像部（後述する）は、デプスカメラのような深度情報が取得可能な特殊なカメラであってもよい。
なお、本実施形態に係る撮像画像は、鏡像処理（左右反転処理）が施された画像に限られない。例えば、撮像装置や撮像部（後述する）において鏡像が撮像される場合には、本実施形態に係る撮像画像は、撮像された画像そのものであってもよい。
また、本実施形態に係る操作対象領域とは、撮像画像の一部に設定される撮像画像内の領域であり、ジェスチャ認識が行われる領域である。ここで、ジェスチャ認識に係る処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置が行ってもよい。
また、本実施形態に係る操作対象画像とは、例えば、ユーザのジェスチャ操作に応じたジェスチャ認識の結果に応じて操作される操作対象オブジェクトを含む画像である。ここで、本実施形態に係る操作対象画像としては、例えば、Ｗｅｂページや、各機器のメニュー画面、操作画面を示す画像が挙げられる。また、本実施形態に係る操作対象オブジェクトとしては、例えば、ボタンや、アイコン、ハイパーリンクなどのリンクなどが挙げられる。なお、上記のように、ジェスチャ認識に係る処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置が行ってもよい。
なお、本実施形態に係る操作対象画像が示すＵＩ（User Interface。アイコンサイズや、レイアウトなど）は、例えば、ジェスチャや音声による操作の場合と、リモート・コントローラなどの外部操作デバイスによる操作やＧＵＩなどによる操作の場合とで同一のＵＩ（つまり、固定のＵＩ）が挙げられるが、本実施形態に係る操作対象画像が示すＵＩは、上記に限られない。例えば、本実施形態に係る操作対象画像は、ジェスチャや音声による操作の場合と、リモート・コントローラなどの外部操作デバイスによる操作などの場合とで、ＵＩが異なってもよい。ＵＩが異なる例としては、例えば、リモート・コントローラなどの外部操作デバイスによる操作などの場合には４×４の数のアイコンが表示され、ジェスチャや音声による操作の場合には、操作をより簡易とするために、２×２や３×３の数のアイコンが表示されることが挙げられる。また、例えば、ジェスチャによる操作の場合には、ジェスチャ操作を補助するための操作対象オブジェクト（例えば、コントロールパネルなど）が、本実施形態に係る操作対象画像に含まれていてもよい。
また、本実施形態に係る表示対象領域は、後述する領域設定処理において設定される操作対象領域に対応する領域である。本実施形態に係る表示対象領域としては、例えば、操作対象領域と一致する領域が挙げられるが、本実施形態に係る表示対象領域は、上記に限られない。例えば、本実施形態に係る表示対象領域は、操作対象領域よりも小さい領域であってもよい。本実施形態に係る操作対象領域と表示対象領域との関係の一例については、後述する。
また、本実施形態に係る表示画面としては、例えば、外部の表示装置における表示画面、または、本実施形態に係る画像処理装置が表示部（後述する）を備える場合には、当該表示部（後述する）における表示画面が挙げられる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、（１）領域設定処理、（２）画像処理、および（３）表示制御処理を行う。以下、本実施形態に係る画像処理方法に係る処理についてより具体的に説明する。
（１）領域設定処理
本実施形態に係る画像処理装置は、撮像画像の一部に操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、ジェスチャ認識の開始条件（ジェスチャ認識開始のトリガ）を満たすかを判定し、ジェスチャ認識の開始条件を満たすと判定された場合に、操作対象領域を設定する。ここで、本実施形態に係るジェスチャ認識の開始条件としては、例えば、手振りや手かざしのような所定のジェスチャが認識されたことや、“Ｈｅｌｌｏ ＴＶ”などの所定の音声が認識されたこと、操作部（後述する）やリモート・コントローラなどの外部操作装置から伝達される、ジェスチャ認識の開始操作（ユーザ操作の一例）に基づく操作信号が検出されたことなどが挙げられる。本実施形態に係る画像処理装置は、例えば、ジェスチャの認識結果（本実施形態に係る画像処理装置が撮像画像に基づくジェスチャ認識機能を有している場合）や、外部装置から取得したジェスチャの認識結果を示す信号に基づいて、所定のジェスチャが認識されたか否かを判定する。また、本実施形態に係る画像処理装置は、例えば、音声の認識結果（本実施形態に係る画像処理装置が音声信号に基づく音声認識機能を有している場合）や、外部装置から取得した音声の認識結果を示す信号に基づいて、所定の音声が認識されたか否かを判定する。
また、複数のユーザに対応するジェスチャ認識の開始条件が満たされたと判定された場合には、本実施形態に係る画像処理装置は、例えば、各ユーザに設定される優先度に応じて操作対象領域を設定してもよい。ここで、上記優先度の設定方法としては、例えば、最初に認識されたユーザや、最後に認識されたユーザの優先度を高く設定する方法や、ユーザ操作に基づき優先度を設定する方法などの様々な方法が挙げられる。
なお、本実施形態に係る画像処理装置における領域設定処理は、ジェスチャ認識の開始条件を満たすと判定された場合に、操作対象領域を設定することに限られない。例えば、本実施形態に係る画像処理装置は、定期的に／非定期的に、操作対象領域の候補となる領域を設定してもよい。定期的に／非定期的に操作対象領域の候補となる領域を設定する場合、本実施形態に係る画像処理装置は、例えば、ジェスチャ認識の開始条件を満たすと判定された場合に、直近に設定した操作対象領域の候補となる領域を、操作対象領域として設定する。
（１−１）領域設定処理の第１の例
本実施形態に係る画像処理装置は、例えば、撮像画像における検出対象の位置、大きさに基づいて、操作対象領域を設定する。
図１は、本実施形態に係る領域設定処理の一例を説明するための説明図である。ここで、図１は、本実施形態に係る画像処理装置が、ユーザの手を検出対象として操作対象領域を設定する場合の一例を示している。また、図１に示すＡは、撮像画像の一例を示しており、図１に示すＢは、設定される操作対象領域の一例を示している。
本実施形態に係る画像処理装置は、例えば、撮像画像から手の位置と大きさを検出し、検出された手の位置と大きさの検出値に基づいて、操作対象領域を設定する。
ここで、本実施形態に係る画像処理装置は、例えば、撮像画像に対するエッジ検出処理の結果や、撮像画像に対する肌色などの所定の色の検出処理の結果に基づいて、手（検出対象の一例）を含む領域を特定することによって、撮像画像から手の位置と大きさを検出する。なお、本実施形態に係る画像処理装置における、手の位置と大きさの検出処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、手の位置と大きさを検出可能な任意の処理によって、撮像画像から手の位置と大きさを検出してもよい。
また、本実施形態に係る画像処理装置は、例えば、撮像画像全体よりも小さく、検出された手を含む任意の大きさの領域を、操作対象領域として設定する。
なお、本実施形態に係る画像処理装置が、撮像画像から手の位置と大きさを検出して操作対象領域を設定する場合には、操作者（ユーザ）が期待する操作対象領域が、外部撮像装置や撮像部（後述する）における画角の外に設定されていまうことも起こりうる。本実施形態に係る画像処理装置は、撮像画像から検出される手の位置と大きさに基づき設定される操作対象領域が、画角の外に設定されるか否かを判定し、画角の外に設定されると判定される場合には、例えば、検出された手と水平方向に逆の位置（ユーザの位置を基準としたときの逆の位置）に、操作対象領域を設定してもよい。
図２は、本実施形態に係る領域設定処理の一例を説明するための説明図である。ここで、図２は、本実施形態に係る画像処理装置が、操作対象領域が画角の外に設定されるか否かを判定する場合において設定される操作対象領域の一例を示している。また、図２は、撮像画像の一例を示している。
本実施形態に係る画像処理装置は、例えば図２のＡに示すように、撮像画像から検出される手の位置と大きさに基づき設定される操作対象領域が、画角の外に設定される場合には、図２のＢに示すように、検出された手と水平方向に逆の位置に操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、上記のように、撮像画像における手の位置、大きさに基づいて、操作対象領域を設定する。なお、本実施形態に係る画像処理装置が位置、大きさを検出する検出対象は、例えば図１に示すようなユーザの手に限られない。例えば、本実施形態に係る画像処理装置は、ユーザの顔の位置と大きさを検出し、検出された顔の位置と大きさの検出値に基づいて、操作対象領域を設定してもよい。
ここで、本実施形態に係る画像処理装置は、例えば、撮像画像における明度に基づく検出方法など任意の顔検出処理を行うことによって、撮像画像から顔の位置と大きさを検出する。
また、本実施形態に係る画像処理装置は、例えば、検出された顔の位置と大きさの検出値に基づいて、撮像画像全体よりも小さな領域を、操作対象領域として設定する。ここで、本実施形態に係る画像処理装置は、例えば、撮像画像全体よりも小さく、検出された顔を含む任意の大きさの領域を、操作対象領域として設定する。
なお、本実施形態に係る画像処理装置が顔の位置と大きさを検出する場合に設定する操作対象領域は、上記に限られない。例えば、本実施形態に係る画像処理装置は、検出された顔に対応するユーザの利き手に合わせて、上記検出された顔を含む任意の大きさの領域を水平方向にずらした領域を、操作対象領域として設定してもよい。本実施形態に係る画像処理装置は、例えば、検出された顔に対応するユーザの利き手を示す利き手情報（データ）に基づいて、検出された顔に対応するユーザの利き手に対応する位置に、操作対象領域を設定する。ここで、本実施形態に係る利き手情報は、例えば、ユーザの登録操作（ユーザ操作の一例）に基づいて、ユーザごとに記憶部（後述する）などの記録媒体に記憶される。また、本実施形態に係る画像処理装置は、顔認識技術を用いることにより検出された顔に対応するユーザを特定することによって、検出された顔に対応するユーザに対応する利き手情報を、記憶部（後述する）などから読み出す。そして、本実施形態に係る画像処理装置は、読み出した利き手情報に基づいて、操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば上記のように、ユーザの手または顔などのユーザの一つの部位を検出対象として検出することによって、操作対象領域を設定する。なお、本実施形態に係る画像処理装置が位置、大きさを検出する検出対象は、ユーザの手または顔などのユーザの一つの部位に限られない。例えば、本実施形態に係る画像処理装置は、ユーザの複数の部位を検出対象として検出することによって、操作対象領域を設定してもよい。
例えば、本実施形態に係る画像処理装置は、ユーザの手の位置、大きさと、ユーザの顔の位置、大きさとをそれぞれ検出し、検出された手の位置と大きさの検出値と、検出された顔の位置と大きさの検出値とに基づいて、操作対象領域を設定する。図３は、本実施形態に係る領域設定処理の一例を説明するための説明図である。ここで、図３は、本実施形態に係る画像処理装置が、ユーザの手とユーザの顔とを検出対象として操作対象領域を設定する場合の一例を示している。また、図３は、撮像画像の一例を示している。
例えば、図３に示すように、撮像画像が、ユーザが右手を上げていることを示す場合には、本実施形態に係る画像処理装置は、検出された顔の右側（鏡像における左側）に、操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、上記のように、撮像画像における検出対象の位置、大きさに基づいて、操作対象領域を設定する。ここで、本実施形態に係る画像処理装置が、例えば、ユーザの手や顔を検出対象とすることによって、設定される操作対象領域と当該操作対象領域に含まれるユーザの顔や手の大きさとの比率は、一定に保たれる。よって、本実施形態に係る画像処理装置が、例えば、ユーザの手や顔を検出対象とすることによって、例えば、ユーザが、外部撮像装置や撮像部（後述する）から離れた位置にいても、また、ユーザが、外部撮像装置や撮像部（後述する）に近い位置にいても、ユーザは、同じような操作感で操作を行うことができる。
（１−２）領域設定処理の第２の例
本実施形態に係る画像処理装置は、例えば、撮像画像から検出されるユーザの姿勢に基づいて、操作対象領域を設定する。本実施形態に係る画像処理装置は、例えば、機械学習などを用いたユーザの部位の推定によってユーザの姿勢を推定するなど、任意の姿勢推定技術に係る処理を用いて、ユーザの骨格情報（データ）を得る。そして、本実施形態に係る画像処理装置は、骨格情報からユーザの稼働範囲を推定することによって操作対象領域を設定する。
なお、本実施形態に係る画像処理装置における、ユーザの姿勢に基づく操作対象領域の設定処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、さらにユーザの顔の位置と大きさを検出し、ユーザの姿勢の推定結果と、検出された顔の位置と大きさの検出値とに基づいて、操作対象領域を設定してもよい。
図４は、本実施形態に係る領域設定処理の一例を説明するための説明図である。ここで、図４は、本実施形態に係る画像処理装置が、ユーザの姿勢の推定結果と、検出された顔の位置と大きさの検出値とに基づいて、操作対象領域を設定する場合の一例を示している。また、図４は、撮像画像の一例を示している。
例えば図４に示すように、ユーザが寝転がっている姿勢をとっているときに、極度に傾いた顔が検出された場合には、本実施形態に係る画像処理装置は、ユーザの手の駆動範囲を推定して、操作対象領域を設定する。例えば図４の例では、検出された顔から水平方向にずらした位置に操作対象領域を設定するのではなく、検出された顔の上方向（垂直方向における上方向）に、操作対象領域が設定された例を示している。
また、本実施形態に係る画像処理装置は、一度設定した操作対象領域を固定してもよいし、撮像画像から検出されるユーザの顔や手などの移動に合わせて、操作対象領域を動的に変更してもよい。
（１−３）領域設定処理の第３の例
本実施形態に係る画像処理装置は、例えば、検出対象の動きに基づいて、操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、バイバイのような手振りや空中に任意の図形を描くなどの所定のジェスチャを検出し、当該ジェスチャを行った手（検出対象の一例）などの移動領域を包含する領域を、操作対象領域として設定する。なお、本実施形態に係る画像処理装置が検出する検出対象は、ユーザの手などのユーザの一部位に限られない。例えば、本実施形態に係る画像処理装置は、ユーザが手に持った棒状のデバイスなどの所定のデバイスの移動領域を包含する領域を、操作対象領域として設定してもよい。
（１−４）領域設定処理の第４の例
本実施形態に係る画像処理装置は、例えば、検出対象の形状、および操作対象画像に含まれる操作対象オブジェクトのサイズに基づいて、操作対象領域を設定する。
例えば、ジェスチャ認識が行われる対象のオブジェクト（以下、「認識対象オブジェクト」と示す場合がある。）が、ユーザの手である場合において、操作対象画像に含まれるアイコン（操作対象オブジェクトの一例）に対して、設定された操作対象領域に含まれるユーザの手の大きさが極端に大きいときには、ユーザは、手を用いた所望の操作を行えないことが起こりうる。上記手を用いた所望の操作を行えない場合としては、例えば、ユーザが、例えばパーでコンテンツ選択する際どこをポインティングしているか分からない場合が挙げられる。なお、上記どこをポインティングしているか分からないことは、ユーザがパーでコンテンツ選択する場合に生じることに限られず、例えば、ユーザが指先でコンテンツ選択するときなど他の場合においても生じうる。
そこで、本実施形態に係る画像処理装置は、ユーザが操作を行う検出対象の形状と、操作対象オブジェクトのサイズとに基づいて、例えば、検出対象のサイズと操作対象オブジェクトのサイズとの差が所定の範囲に収まるように、操作対象領域を設定する。例えば、本実施形態に係る画像処理装置は、検出対象のサイズと操作対象オブジェクトのサイズとが、同じ位のサイズとになるように、操作対象領域を設定する。ここで、上記本実施形態に係る所定の範囲は、予め設定された固定値であってもよいし、ユーザなどが変更可能な可変値であってもよい。
（１−５）領域設定処理の第５の例
本実施形態に係る画像処理装置は、例えば、上記領域設定処理の第１の例と上記領域設定処理の第２の例、上記領域設定処理の第１の例と上記領域設定処理の第３の例、上記領域設定処理の第１の例と上記領域設定処理の第４の例など、上記領域設定処理の第１の例〜上記領域設定処理の第４の例のうちの、組み合わせ可能な複数の処理を組み合わせることによって、操作対象領域として設定してもよい。
（１−６）領域設定処理の第６の例
本実施形態に係る画像処理装置は、例えば、上記のように、撮像画像における検出対象の位置および大きさ、検出対象の動き、ユーザの姿勢、検出対象の形状および操作対象画像に含まれる操作対象オブジェクトのサイズのうちの、１または２以上に基づいて、操作対象領域を設定する。ここで、本実施形態に係る画像処理装置は、例えば、本実施形態に係る表示対象領域と一致する領域を、操作対象領域として設定するが、本実施形態に係る画像処理装置が設定する操作対象領域は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像全体の領域より小さく、表示対象領域よりも大きい領域を、操作対象領域として設定してもよい。
具体例を挙げると、本実施形態に係る画像処理装置は、表示対象領域に係る値を、例えば下記の数式１〜数式４により算出する。なお、下記の数式１〜数式４は、表示対象領域が矩形の領域である場合における表示対象領域に係る値の算出例を示している。ここで、数式１に示す“ｖｗ”は、表示対象領域の水平方向の幅を示しており、数式１に示す“ｆｗ”は、撮像画像において顔認識された矩形領域の水平方向の幅（既知の値）を示している。また、数式１に示す“ビジュアルフィードバックの拡大率”は、設定される値である。また、数式２に示す“ｖｈ”は、表示対象領域の垂直方向の幅を示しており、数式１に示す“ｈｅｉｇｈｔ＿ｒａｔｉｏ”は、表示画面の縦幅／表示画面の横幅（既知の値。例えば、１６：９の画面の場合、ｈｅｉｇｈｔ＿ｒａｔｉｏ＝９／１６となる。）を示している。また、数式３に示す“ｖｘ”は、表示対象領域（矩形の領域）の左上隅のｘ座標を示しており、数式３に示す“ｆｃｘ”は、撮像画像において顔認識された矩形領域の中心のｘ座標（既知の値）を示している。また、数式３に示す“ｘ方向のオフセット値”は、設定される値である。また、数式４に示す“ｖｙ”は、表示対象領域（矩形の領域）の左上隅のｙ座標を示しており、数式４に示す“ｆｃｙ”は、撮像画像において顔認識された矩形領域の中心のｙ座標（既知の値）を示している。また、数式４に示す“ｆｈ”は、撮像画像において顔認識された矩形領域の垂直方向の幅（既知の値）を示しており、数式４に示す“ｙ方向のオフセット値”は、設定される値である。また、数式３、数式４に示す“ｆ”は、設定される値（０〜９のいずれかの値）を示している。
ｖｗ＝ｆｗ×（ビジュアルフィードバックの拡大率）
・・・（数式１）
ｖｈ＝ｖｗ×ｈｅｉｇｈｔ＿ｒａｔｉｏ
・・・（数式２）
ｖｘ＝ｆｃｘ＋ｆｗ×（ｘ方向のオフセット値）−ｖｗ／２.ｆ
・・・（数式３）
ｖｙ＝ｆｃｙ＋ｆｈ×（ｙ方向のオフセット値）−ｖｈ／２.ｆ
・・・（数式４）
また、本実施形態に係る画像処理装置は、操作対象領域に係る値を、例えば下記の数式５〜数式８により算出する。なお、下記の数式５〜数式８は、操作対象領域が矩形の領域である場合における操作対象領域に係る値の算出例を示している。ここで、数式５に示す“ｒｗ”は、操作対象領域の水平方向の幅を示しており、数式５に示す“ｈｗ”は、撮像画像において手認識された矩形領域の水平方向の幅（既知の値）を示している。また、数式５に示す“水平方向の幅のスケール率”は、撮像画像において認識された手の大きさを基準としてどの程度余分に認識範囲を広げるかを示すパラメータであり、設定される値である。また、数式６に示す“ｒｈ”は、操作対象領域の垂直方向の幅を示しており、数式６に示す“ｈｈ”は、撮像画像において手認識された矩形領域の垂直方向の幅（既知の値）を示している。また、数式６に示す“垂直方向の幅のスケール率”は、撮像画像において認識された手の大きさを基準としてどの程度余分に認識範囲を広げるかを示すパラメータであり、設定される値である。また、数式７に示す“ｒｘ”は、操作対象領域（矩形の領域）の左上隅のｘ座標を示している。また、数式８に示す“ｒｙ”は、操作対象領域（矩形の領域）の左上隅のｙ座標を示している。
ｒｗ＝ｖｗ＋ｈｗ×（水平方向の幅のスケール率）
・・・（数式５）
ｒｈ＝ｖｗ＋ｈｈ×（垂直方向の幅のスケール率）
・・・（数式６）
ｒｘ＝ｖｘ＋ｖｗ／２−ｒｗ／２
・・・（数式７）
ｒｙ＝ｖｙ＋ｖｈ／２−ｒｈ／２
・・・（数式８）
本実施形態に係る画像処理装置は、例えば、上記数式１〜数式４によって表示対象領域に係る値を算出することによって、表示対象領域を設定する。また、本実施形態に係る画像処理装置は、例えば、上記数式５〜数式８によって操作対象領域に係る値を算出することによって、撮像画像全体の領域より小さく、表示対象領域よりも大きい領域を、操作対象領域として設定する。なお、本実施形態に係る、撮像画像全体の領域より小さく、表示対象領域よりも大きい操作対象領域の設定に係る処理が、上記に限られないことは、言うまでもない。
図５は、本実施形態に係る画像処理装置が設定する操作対象領域の一例を説明するための説明図である。ここで、図５に示すＡは、撮像画像を示している。また、図５に示すＢは、本実施形態に係る表示対象領域の一例を示しており、図５に示すＣは、本実施形態に係る操作対象領域の一例を示している。
図５に示すように、本実施形態に係る画像処理装置は、撮像画像全体の領域（図５に示すＡ）より小さく、表示対象領域（図５に示すＢ）よりも大きい領域を、操作対象領域（図５に示すＣ）として設定する。図５に示すように、本実施形態に係る画像処理装置が、表示画面に表示される領域である表示対象領域と、ジェスチャ認識が行われる領域である操作対象領域とを分けて設定することによって、例えば、下記の（ａ）、（ｂ）に示すような効果を奏する。
（ａ）ユーザが、表示画面に表示されている表示対象領域の外でジェスチャを行った場合であっても、ジェスチャ認識に係る処理を行う装置（本実施形態に係る画像処理装置、および／または、外部装置。以下、同様とする。）は、当該ジェスチャを認識することができる。
（ｂ）上記（ａ）によって、表示画面に表示されている表示対象領域における端の領域を利用した、例えば下記のような操作が実現される。
・画面の下側や上側、画面の左右の両端の領域に存在する操作対象オブジェクトを選択する選択操作
・画面の端近辺に手を移動することによる、表示画面に表示される画像の一部（例えば、特定の操作対象オブジェクトのみ）の移動や、他の画像への遷移を行わせるためのオートスクロール操作
・画面の端近辺を叩く（タッチする）ようなジェスチャ（ジェスチャの一例）による、表示画面に表示される画像の一部（例えば、操作対象オブジェクトのみ）の移動や、他の画像への遷移を行わせるためのスクロール操作
図６は、本実施形態に係る画像処理装置が、表示対象領域と操作対象領域とを分けて設定することによる効果の一例を説明するための説明図である。ここで、図６では、説明の便宜上、後述する本実施形態に係る画像処理によって撮像画像のうちの表示対象領域の画像と操作対象画像とが合成された画像ではなく、操作対象画像のみを示している。また、図６に示すＡＲ１は、表示対象領域に該当する領域である。また、図６に示すＡＲ２は、操作対象領域内の一部の領域に該当する領域であり、図６に示すように、領域ＡＲ２の一部は、領域ＡＲ１に含まれていない。
例えば、ユーザ（操作者）が、図６に示す領域ＡＲ２（画面の端近辺の領域の一例）に手を移動すると、ジェスチャ認識に係る処理を行う装置は、例えば、オートスクロール操作が行われたと認識する。そして、オートスクロール操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、図６に示す操作対象画像に含まれる操作対象オブジェクトである“ＴＶ”、“Ｗｅｂ Ｂｒｏｓｅｒ”、“Ｍｅｄｉａ Ｐｌａｙｅｒ”、…、“Ｈｅｌｐ Ｇｕｉｄｅ”を、図６に示すＭ方向に移動させる（表示画面に表示される画像の一部を移動させる場合の一例）。図６に示す操作対象画像に含まれる操作対象オブジェクトが図６に示すＭ方向に移動することによって、表示画面には、例えば、他の操作対象オブジェクトが表示されることとなる。なお、オートスクロール操作が行われたと認識された場合における表示画面に表示される画像の変化は、上記に示す例に限られない。例えば、ジェスチャ認識に係る処理を行う装置は、オートスクロール操作が行われたと認識された場合に、図６に示す操作対象画像全体を図６に示すＭ方向に移動させ、表示画面に表示される画像を、図６に示す操作対象画像から他の操作対象画像へと遷移させてもよい（表示画面に表示される画像を遷移させる場合の一例）。図６に示す操作対象画像が図６に示すＭ方向に移動して、他の操作対象画像へと遷移することによって、表示画面には、図６に示す操作対象画像とは別の操作対象画像が表示されることとなる。
また、例えば、ユーザ（操作者）が、図６に示す領域ＡＲ２（画面の端近辺の領域の一例）において叩く（タッチする）ようなジェスチャを行うと、ジェスチャ認識に係る処理を行う装置は、例えば、スクロール操作が行われたと認識する。そして、スクロール操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、上記オートスクロール操作が行われたと認識された場合と同様に、例えば、図６に示す操作対象画像に含まれる特定の操作対象オブジェクト、または、操作対象画像全体を、図６に示すＭ方向に移動させる。
本実施形態に係る画像処理装置が、表示対象領域と操作対象領域とを分けて設定することによって、ジェスチャ認識に係る処理を行う装置は、例えば、図６に示す領域ＡＲ２に示すような表示対象領域（領域ＡＲ１）に含まれない領域を含む領域における、ユーザ操作を認識し、認識したユーザ操作に応じた処理を行うことができる。よって、本実施形態に係る画像処理装置が、表示対象領域と操作対象領域とを分けて設定することによって、ユーザの操作性をさらに向上させることが可能となる。
（１−７）領域設定処理の他の例
なお、本実施形態に係る画像処理装置における領域設定処理は、上述した各処理に限られない。例えば、顔や手の位置に応じて操作対象領域を更新する場合、認識の範囲外（例えばカメラの画角外）にユーザが移動してしまうことが起こりうる。ここで、ユーザが認識の範囲外に移動した場合には、ユーザがジェスチャを行ったとしても、ジェスチャ認識に係る処理を行う装置は、当該ジェスチャを認識して処理を行うことができない。そこで、本実施形態に係る画像処理装置は、認識の範囲外であることをユーザに通知する。
図７は、本実施形態に係る領域設定処理の他の例を説明するための説明図である。ここで、図７に示すＡ１、Ｂ１、Ｃ１、Ｄ１、Ｅ１それぞれは、撮像画像と撮像画像に設定されている操作対象領域とを示している。また、図７に示すＡ２は、図７のＡ１に示す操作対象領域に対応する表示対象領域の画像を示しており、同様に、図７に示すＢ２、Ｃ２、Ｄ２、Ｅ２それぞれは、図７のＢ１、Ｃ１、Ｄ１、Ｅ１それぞれに示す操作対象領域に対応する表示対象領域の画像を示している。また、図７は、設定されている操作対象領域の位置の変化を、図７に示すＡ１、図７に示すＢ１、図７に示すＣ１、図７に示すＤ１、図７に示すＥ１の順番に時系列に示している。
例えば図７に示すように、本実施形態に係る画像処理装置は、認識の範囲（例えばカメラの画角）の端付近に操作対象領域が近づいた場合には、操作対象領域が、あたかも壁にぶつかって反射するようなアニメーション表示によって、認識の範囲の端から遠ざかる方向に移動するように、操作対象領域を適宜設定する。また、例えば図７のＣ１、Ｃ２に示すように、本実施形態に係る画像処理装置は、操作対象領域における認識の範囲外に対応する領域に、黒画像を挟み込むことによって、認識の範囲外にユーザが近づいたことをユーザに通知する。例えば図７に示すようなアニメーション表示が実現されるように操作対象領域を適宜設定することによって、本実施形態に係る画像処理装置は、ユーザに、認識の範囲外にユーザが近づいたことを直感的に把握させることができる。また、例えば図７に示すようなアニメーション表示が実現されるように操作対象領域を適宜設定することによって、本実施形態に係る画像処理装置は、警告表示を行わなくても、ユーザに、認識の範囲外に近づいたことを直感的に把握させることができる。
なお、本実施形態に係る画像処理装置における認識の範囲外に係る通知を行うための処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、あたかも壁に跳ね返るようなアニメーション表示など、他のアニメーション表示が実現されるように操作対象領域を適宜設定することによって、認識の範囲外にユーザが近づいたことをユーザに通知してもよい。また、本実施形態に係る画像処理装置が、操作対象領域における認識の範囲外にユーザが近づいたことをユーザに通知する方法は、例えば図７のＣ２に示すように、操作対象領域における認識の範囲外に対応する領域に黒画像を挟み込むことに限られない。
図８は、本実施形態に係る、操作対象領域における認識の範囲外にユーザが近づいたことをユーザに通知する方法の一例を説明するための説明図である。例えば、図８のＡ、図８のＢに示すように、本実施形態に係る画像処理装置は、操作対象領域における認識の範囲外に対応する領域に挟み込んだ黒画像上に、警告を示す文言や記号を重畳させてもよい。また、例えば、図８のＣに示すように、本実施形態に係る画像処理装置は、操作対象領域における認識の範囲外に対応する領域に、アプリケーションの壁紙やこれ以上端に行けないようなアフォーダンスのある画像など、黒画像以外の画像をさせてもよい。さらに、例えば、図８のＤに示すように、本実施形態に係る画像処理装置は、操作対象領域における認識の範囲外に対応する領域に挟み込んだ黒画像以外の画像上に、警告を示す文言や記号を重畳させてもよい。
（２）画像処理
本実施形態に係る画像処理装置は、撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成する。
なお、本実施形態に係る画像装置における画像処理は、撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを、単に合成することに限られない。
単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合には、例えば、操作対象画像に含まれている操作対象オブジェクト上に撮像画像の内容（より厳密には、表示対象領域に対応する画像の内容）が重畳されることによって、操作対象オブジェクトの視認性が低下する可能性がある。そこで、本実施形態に係る画像処理装置は、上記のような操作対象オブジェクトの視認性が低下する可能性を低減させるために、例えば、撮像画像、または、操作対象画像に基づいて、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成することも可能である。
ここで、本実施形態に係る撮像画像の可視化の程度の変化としては、例えば、撮像画像を部分的に可視化させる部分的範囲を変化させることや、撮像画像を平滑化する平滑化の度合いを変化させることが挙げられる。なお、本実施形態に係る撮像画像の可視化の程度の変化は、上記に限られない。本実施形態に係る画像処理装置は、例えば、ポスタリゼーションや、モザイク、線画、シルエット表示など、撮像画像に対する様々な画像処理を行うことによって、撮像画像の可視化の程度を変化させてもよい。また、本実施形態に係る撮像画像の部分的な可視化としては、例えば、撮像画像を透過させる度合いを変化させることが挙げられる。
以下、本実施形態に係る画像処理装置が、可視化の程度を変化させた撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成する場合を主に例に挙げて、本実施形態に係る画像処理の一例について説明する。
（２−１）部分的範囲の変化に係る処理の第１の例
本実施形態に係る画像処理装置は、例えば、撮像画像から認識される所定の対象に基づいて、部分的範囲を決定する。そして、本実施形態に係る画像処理装置は、決定された部分的範囲に基づいて、例えば撮像画像を透過させる度合いを変化させることによって、撮像画像を部分的に可視化する。
ここで、本実施形態に係る所定の対象としては、例えば、ユーザの顔や、ユーザの手などのオブジェクトが挙げられる。本実施形態に係る画像処理装置は、例えば、ユーザの目、鼻、口、骨格などの特徴点の検出や、顔の輝度分布および構造パターンと類似した領域を、撮像画像から検出することによって、ユーザの顔を含む顔領域を認識する。また、本実施形態に係る画像処理装置は、例えば、エッジ検出やパターンマッチングなどの様々な画像処理を撮像画像に対して行うことによって、撮像画像からユーザの手などの認識対象のオブジェクトを認識する。
なお、本実施形態に係る画像処理装置における所定の対象の認識処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像から所定の対象として動体を認識し、認識された動体を含む領域を、部分的範囲として決定してもよい。ここで、本実施形態に係る画像処理装置は、例えば、現フレームに対応する画像と前フレームに対応する画像とにおける差分の検出や、動きベクトルの変化の検出を行うことによって、動体を検出するが、動体の検出方法は、上記に限られない。
以下、所定の対象として顔を認識する場合における処理を例に挙げて、本実施形態に係る部分的範囲の変化に係る処理の一例について、より具体的に説明する。
所定の対象として顔を認識する場合には、本実施形態に係る画像処理装置は、撮像画像から顔を認識し、認識された顔以外の部分を、部分的範囲として決定する。
図９Ａ、図９Ｂ、図１０Ａ、図１０Ｂは、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。ここで、図９Ａは、図９Ｂに示す実例の概念図であり、また、図１０Ａは、図１０Ｂに示す実例の概念図である。また、図９Ａ、図９Ｂ、図１０Ａ、図１０Ｂは、本実施形態に係る画像処理装置が、撮像画像から認識された顔以外の部分を、部分的範囲として決定した場合における画像の一例を示している。
本実施形態に係る画像処理装置は、例えば、認識された顔領域から半透明のグラデーションをかける処理を行うことによって、認識された顔以外の部分の可視化を実現する。ここで、本実施形態に係る画像処理装置は、例えば、半透明のグラデーションをかける際の透過度を、撮像画像の背景部分（例えば認識された顔領域以外の部分）に応じて動的に変えてもよい。
本実施形態に係る画像処理装置は、例えば、撮像画像の背景部分における空間周波数や色合いを検出し、検出結果に応じて動的に透過度を変える。本実施形態に係る画像処理装置は、例えば、検出された空間周波数が高い程（複雑な画像である程）、透過度を低くし、また、検出された色合いが濃い程、透過度を低くする。例えば上記のように、検出された空間周波数が高い程、透過度を低くし、また、検出された色合いが濃い程、透過度を低くすることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下を防止することができる。
なお、本実施形態に係る画像処理装置における透過度を動的に変更する処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、操作対象画像（または、ＨＴＭＬデータやＸＭＬデータなど、操作対象画像を構成するデータ）から操作対象オブジェクトの位置を特定し、特定された位置を含む領域上の透過度を低くしてもよい。つまり、本実施形態に係る画像処理装置は、操作対象画像に含まれる操作対象オブジェクトに基づいて、撮像画像を部分的に可視化させる部分的範囲を決定することによって、当該部分的範囲を変化させることも可能である。
ここで、本実施形態に係る画像処理装置は、操作対象画像に含まれる操作対象オブジェクトに基づき部分的範囲を変化させる処理と、撮像画像から認識される所定の対象に基づき部分的範囲を変化させる処理とのいずれか一方の処理を排他的に行ってもよいし、双方の処理を行ってもよい。また、本実施形態に係る画像処理装置は、上記双方の処理を行う場合には、例えば、操作対象画像に含まれる操作対象オブジェクトに基づき部分的範囲を変化させる処理の優先度をより高く設定するなど、各処理に優先度を設定してもよい。
例えば上記のように、操作対象オブジェクトの位置に基づき透過度を動的に変化させることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下を防止することができる。
なお、図９Ａ〜図１０Ｂでは、撮像画像に１人のユーザが含まれている場合を示しているが、本実施形態に係る撮像画像には、複数人のユーザが含まれていてもよい。本実施形態に係る画像処理装置は、上記（１）の処理（領域設定処理）において、例えば、ジェスチャ認識の開始条件を満たすと判定された場合に、操作対象領域を設定する。
（２−２）部分的範囲の変化に係る処理の第２の例
上記では、部分的範囲の変化に係る処理の第１の例として、本実施形態に係る画像処理装置が、例えば、撮像画像から認識される所定の対象に基づいて部分的範囲を決定し、決定された部分的範囲に基づいて撮像画像を部分的に可視化する例を示した。しかしながら、本実施形態に係る画像処理装置における、部分的範囲の変化に係る処理は、上記の例に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像が表示される面積を変化させることによって、撮像画像を部分的に可視化させる部分的範囲を変化させることも可能である。
図１１は、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。ここで、図１１は、撮像画像に対してマスクをかけることによって、撮像画像を可視化させる部分的範囲を変化させた例を示している。
本実施形態に係る画像処理装置は、例えば図１１に示すように、撮像画像に対してマスクをかけることによって撮像画像が表示される面積を小さくし、撮像画像を可視化させる部分的範囲を変化させる。
なお、本実施形態に係る画像処理装置における処理は、図１１に示す例に限られない。例えば、図１１では、本実施形態に係る画像処理装置が、撮像画像全体に対して均一なマスクをかけている例を示しているが、本実施形態に係る画像処理装置は、例えば、マスクの密度や形状などを動的に変化させてもよい。例えば、本実施形態に係る画像処理装置は、操作対象画像（または、ＨＴＭＬデータやＸＭＬデータなど、操作対象画像を構成するデータ）から操作対象オブジェクトの位置を特定し、特定された位置を含む領域上、または、当該領域近辺のマスクの密度を小さくする。つまり、本実施形態に係る画像処理装置は、操作対象画像に含まれる操作対象オブジェクトに基づいて、撮像画像を部分的に可視化させる部分的範囲を決定することによって、当該部分的範囲を変化させることも可能である。
例えば上記のように、操作対象オブジェクトの位置に基づきマスクの密度や形状などを動的に変化させることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下をさらに防止することができる。
（２−３）撮像画像を平滑化する平滑化の度合いの変化に係る処理
上記では、本実施形態に係る画像処理装置における画像処理方法に係る処理として、部分的範囲の変化に係る処理を示したが、本実施形態に係る画像処理方法に係る処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、可視化の程度を変化させる処理として、撮像画像を平滑化する平滑化の度合いを変化させてもよい。
図１２は、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。ここで、図１２は、撮像画像を平滑化することによって、撮像画像に対してぼかし効果を与えた画像の一例を示している。また、図１２では、例えば“ＴＶ”、“ＷｅｂＢｒｏｗｓｅｒ”、…、“Ｈｅｌｐ Ｇｕｉｄｅ”などの操作対象オブジェクトを含む操作対象画像と、表示対象領域の画像とが合成された例を示している。
本実施形態に係る画像処理装置は、例えば、撮像画像に対してガウシアンフィルタ（gaussian filter）などを適用することによって、撮像画像に対してぼかし効果を与える。なお、本実施形態に係る画像処理装置は、ぼかし効果を撮像画像に対して与えることが可能な任意の技術を用いることが可能である。
また、本実施形態に係る画像処理装置は、例えば図１２のＡに示すように、操作対象オブジェクトと表示対象領域の画像とを合成してもよいし、例えば図１２のＢに示すように、操作対象オブジェクトと表示対象領域の画像とを合成しなくてもよい。ここで、図１２は、本実施形態に係る画像処理装置が、表示対象領域の画像が透過して表されるように、操作対象オブジェクトと表示対象領域の画像とを合成した例を示している。図１２のＡに示すように操作対象オブジェクトと表示対象領域の画像とが合成される場合、または、図１２のＢに示すように操作対象オブジェクトと表示対象領域の画像とが合成されない場合のいずれの場合においても、ジェスチャ認識に係る処理を行う装置は、操作対象オブジェクトに対するジェスチャ操作を認識して、操作対象オブジェクトに対応付られた処理を行う。例えば、ユーザ（操作者）が、所望の操作対象オブジェクト上で、当該操作対象オブジェクトを手で叩く（タッチする）ようなジェスチャ（ジェスチャの一例）を行うと、ジェスチャ認識に係る処理を行う装置は、例えば、当該操作対象オブジェクトに対応する処理をジェスチャ認識に係る処理を行う装置に実行させるための実行操作が行われたと認識する。そして、実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。
本実施形態に係る画像処理装置は、例えば、操作対象画像に含まれる操作対象オブジェクトの種類や属性に応じて、操作対象画像に含まれる操作対象オブジェクトと表示対象領域の画像とを選択的に合成する。操作対象画像に含まれる操作対象オブジェクトの種類や属性に応じて、操作対象画像に含まれる操作対象オブジェクトと表示対象領域の画像とを選択的に合成することによって、本実施形態に係る画像装置は、例えば、操作対象オブジェクトの視認性が合成によって低下する可能性を低減させることができる。
ここで、本実施形態に係る画像処理装置は、例えば、操作対象オブジェクトに対応するメタデータや、操作対象画像を構成するデータ（例えば、ＨＴＭＬデータやＸＭＬデータなど）に基づいて、操作対象オブジェクトの種類や属性を特定する。また、本実施形態に係る画像処理装置が、表示対象領域の画像と合成させない操作対象オブジェクトとしては、例えば、コンテンツを示すサムネイルやアイコン（例えば、静止画像や動画像を示すサムネイルやアイコン）や、再生中のコンテンツを示すウインドウ（例えば、動画像の再生ウインドウなど）などが挙げられる。なお、図１２では、表示対象領域の画像と合成される操作対象オブジェクトと、表示対象領域の画像と合成されない操作対象オブジェクトとの双方が、操作対象画像に含まれている例を示しているが、本実施形態に係る操作対象画像は、図１２に示す例に限られない。例えば、本実施形態に係る操作対象画像は、表示対象領域の画像と合成される操作対象オブジェクトと、表示対象領域の画像と合成されない操作対象オブジェクトとの一方のみを含んでいてもよい。また、本実施形態に係る表示対象領域の画像と合成させない操作対象オブジェクトの例が、上記に示す例に限られないこと、および、実施形態に係る画像処理装置が、上記に示すコンテンツを示すサムネイルなどと、表示対象領域の画像とを合成することも可能であることは、言うまでもない。
なお、本実施形態に係る画像処理装置が、表示対象領域の画像と選択的に合成する操作対象画像に含まれるオブジェクトは、操作対象画像に含まれる操作対象オブジェクトに限られない。例えば、本実施形態に係る画像処理装置は、上記操作対象画像に含まれる操作対象オブジェクトを選択的に合成する場合と同様に、操作対象画像に含まれる操作対象オブジェクトではないオブジェクト（以下、「非操作対象オブジェクト」と示す場合がある。）の種類や属性に応じて、操作対象画像に含まれる非操作対象オブジェクトと表示対象領域の画像とを選択的に合成してもよい。操作対象画像に含まれる非操作対象オブジェクトの種類や属性に応じて、操作対象画像に含まれる非操作対象オブジェクトと表示対象領域の画像とを選択的に合成することによって、本実施形態に係る画像装置は、例えば、非操作対象オブジェクトの視認性が合成によって低下する可能性を低減させることができる。ここで、本実施形態に係る画像処理装置が、表示対象領域の画像と合成させない非操作対象オブジェクトとしては、例えば、コンテンツをテキストで説明するコンテンツのテキスト説明ウインドウなどが挙げられる。
また、本実施形態に係る画像処理装置が、撮像画像を平滑化することによって撮像画像に対して与える効果は、ぼかし効果に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像を平滑化することによって、あたかも画家が描いたような絵画調の効果（例えば、筆触効果等）を、撮像画像に対して与えることも可能である。
絵画調の効果を撮像画像に対して与える場合、本実施形態に係る画像処理装置は、例えば、画像におけるエッジのベクトル方向（または、当該ベクトルと、画像の垂直方向や水平方向などの基準方向との角度）を算出し、当該ベクトル方向に基づいて、エッジ保存平滑化フィルタの強弱を調整する。そして、本実施形態に係る画像処理装置は、調整されたエッジ保存平滑化フィルタを用いて撮像画像を平滑化することによって、絵画調の効果を撮像画像に対して与える。ここで、本実施形態に係るエッジ保存平滑化フィルタとしては、例えば、バイラテラルフィルタ（bilateral filter）などのようなエッジを保存することが可能な平滑化フィルタが挙げられる。なお、本実施形態に係る画像処理装置における、絵画調の効果を撮像画像に対して与えるための処理は、上記に限られない。本実施形態に係る画像処理装置は、絵画調の効果を撮像画像に対して与えることが可能な任意の技術を用いることが可能である。
本実施形態に係る画像処理装置は、（２）の処理（画像処理）において、例えば、上記（２−１）〜（２−３）に示す処理のうちのいずれかの処理を行うことによって、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成する。ここで、本実施形態に係る画像処理装置は、例えば、予め規定されている処理を行ってもよいし、ユーザにより選択された処理を行ってもよい。
なお、本実施形態に係る（２）の処理（画像処理）における、可視化の程度を変化させた撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成する処理は、上記（２−１）〜（２−３）に示す処理に限られない。
例えば、本実施形態に係る操作対象画像には、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれる場合がある。本実施形態に係る操作対象画像に、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれる場合には、本実施形態に係る画像処理装置は、例えば、操作対象画像におけるジェスチャ認識がされない領域には、撮像画像を合成させなくてもよい。
図１３は、本実施形態に係る操作対象画像の一例を示す説明図である。本実施形態に係る操作対象画像には、例えば、図１３のＡ１に示すようなメニューなどを構成する細かいリンク（操作対象オブジェクトの一例）のように、ジェスチャ操作に適さない操作対象オブジェクト（例えば、ジェスチャ操作による選択などが容易ではない操作対象オブジェクトなど）が存在しうる。また、本実施形態に係る操作対象画像には、例えば、図１３のＡ２に示すような、選択操作などが行われる操作対象オブジェクトではないオブジェクト（非操作対象オブジェクト）も存在しうる。そこで、本実施形態では、例えば、操作対象画像における、図１３のＡに示すようなジェスチャ操作に適さない操作対象オブジェクトを含む領域や、図１３のＢに示すような操作対象オブジェクトではないオブジェクトを含む領域を、操作対象画像におけるジェスチャ認識がされない領域とする。また、例えば、操作対象画像における、図１３のＢに示すようなジェスチャ操作が可能な操作対象オブジェクトを含む領域を、操作対象画像におけるジェスチャ認識がされうる領域とする。
ここで、本実施形態に係る画像処理装置は、例えば、操作対象画像に対応付けられた操作対象画像におけるジェスチャ認識がされない領域を示す情報（例えば、メタデータや、マークアップ言語におけるタグの記述など）に基づいて、操作対象画像におけるジェスチャ認識がされない領域や、操作対象画像におけるジェスチャ認識がされうる領域を特定する。なお、操作対象画像におけるジェスチャ認識がされない領域の特定方法は、上記に限られない。例えば、本実施形態に係る画像処理装置は、操作対象画像を解析して、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とをそれぞれ設定してもよい。
例えば、図１３の例では、本実施形態に係る画像処理装置は、図１３のＡ１、Ａ２に示す領域には、撮像画像（または、可視化の程度を変化させた撮像画像）を合成させず、また、図１３のＢに示す領域には、撮像画像（または、可視化の程度を変化させた撮像画像）を合成させる。ここで、図１３では、本実施形態に係る画像処理装置が、可視化の程度を変化させた撮像画像を操作対象画像に合成させた一例を、簡略化して示している。
本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成する。そして、合成された画像は、後述する（３）の処理（表示制御処理）によって、表示画面に表示される。よって、本実施形態に係る画像処理装置が、上記（２）の処理（画像処理）において、表示対象領域に対応する画像と操作対象画像とを合成することによって、ユーザが表示画面内に配置されている操作対象オブジェクトを操作することができないことは、防止される。
また、本実施形態に係る画像処理装置は、例えば上記のように、撮像画像、または、操作対象画像に基づいて、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成することも可能である。そして、合成された画像は、後述する（３）の処理（表示制御処理）によって、表示画面に表示される。よって、本実施形態に係る画像処理装置が、上記（２）の処理（画像処理）において、撮像画像の可視化の程度を変化させることによって、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、操作対象オブジェクトの視認性が低下することを防止することができる。
なお、本実施形態に係る画像処理装置における（２）の処理（画像処理）は、上記に限られない。
（２−４）画像処理の他の例
（２−４−１）他の画像処理の第１の例
例えば、本実施形態に係る画像処理装置は、上記（１）の処理（領域設定処理）において操作対象領域が設定された場合には、操作対象画像と合成される撮像画像における領域の位置、大きさを、表示対象領域よりも大きな所定の領域の位置、大きさから、表示対象領域の位置、大きさまで順次に変更してもよい。撮像画像における領域の位置、大きさを変更する場合には、本実施形態に係る画像処理装置は、例えば、位置、大きさが順次に変更される領域に対応する画像と、操作対象画像とを順次に合成する。
本実施形態に係る画像処理装置が、例えば上記のように操作対象画像と合成される撮像画像における領域の位置、大きさを変更して、当該領域に対応する画像と操作対象画像とを順次合成させることによって、後述する（３）の処理（表示制御処理）により表示画面には、一旦所定の領域に対応する画像が表示画面に表示され、所定の領域に対応する画像が表示対象領域に対応する画像が表示されるまでズーミングするようなアニメーション表示の画像が表示される。
ここで、撮像画像に複数のユーザが存在する状況を想定する。上記の状況において、表示画面に表示されている画像に、顔や服などの個人を識別する手がかりとなるオブジェクトがユーザが識別可能な程度に含まれていない場合には、各ユーザが、現在どのユーザのジェスチャが認識されるのか（換言すれば、どこに操作対象領域が設定されているのか）を、表示画面に表示されている画像から把握できないことが生じる可能性がある。
これに対して、本実施形態に係る画像処理装置は、一旦所定の領域に対応する画像が表示されてから、当該画像が表示対象領域に対応する画像までズーミングするようなアニメーション表示がされる画像を、表示画面に表示させる。つまり、各ユーザは、一度俯瞰した画像を見た後に、操作対象領域に対応する表示対象領域の画像を見ることとなる。よって、仮に、撮像画像に複数のユーザが存在する場合であっても、本実施形態に係る画像処理装置は、各ユーザに、現在どのユーザのジェスチャが認識されるのか（換言すれば、どこに操作対象領域が設定されているのか）を、表示画面に表示されている画像からより容易に把握させることができる。
図１４は、本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図であり、本実施形態に係るアニメーション表示の一例を示している。ここで、図１４は、撮像画像と表示画面に表示される画像（ただし、操作対象画像は、省略。）との一例を、時系列に並べて示している（図１４では、右に配置される図程、時間が経過していることを示している。）。また、図１４では、撮像画像Ａ１と撮像画像と表示画面に表示される画像Ａ２とが時間的に対応する画像であり、同様に、撮像画像Ｂ１と撮像画像と表示画面に表示される画像Ｂ２、撮像画像Ｃ１と撮像画像と表示画面に表示される画像Ｃ２、撮像画像Ｄ１と撮像画像と表示画面に表示される画像Ｄ２、撮像画像Ｅ１と撮像画像と表示画面に表示される画像Ｅ２が、それぞれ時間的に対応する画像である。また、図１４では、表示対象領域を“ＡＲ_Ｔ”と示し、所定の領域を“ＡＲ０”と示している。また、図１４では、位置、大きさが順次に変更される領域を“ＡＲ１”と示している。
図１４を参照すると、ジェスチャ操作開始前は、本実施形態に係る画像処理装置は、フィードバックのための画像を、表示画面に表示させない（図１４に示すＡ２）。上記（１）の処理（領域設定処理）において、バイバイのようなジェスチャ認識の開始条件を満たすと判定されると（ジェスチャ認識開始のトリガ（図１４に示すＴ）が検出されると）、本実施形態に係る画像処理装置は、所定の領域ＡＲ０に対応する画像を、表示画面に表示させる。ここで、図１４では、所定の領域ＡＲ０が、撮像画像全体である例を示しているが、本実施形態に係る表示対象領域よりも大きな所定の領域は、上記に限られない。
図１５は、本実施形態に係る表示対象領域よりも大きな所定の領域の一例を示す説明図である。図１５に示すように、本実施形態に係る画像処理装置は、例えば、撮像画像から検出されたユーザの顔領域を含み、表示対象領域よりも大きな、任意の大きさの矩形領域を、ズーミングを開始する所定の領域として設定してもよい。
再度、図１４を参照して、本実施形態に係る画像処理装置における画像処理の他の例に係る、アニメーション表示の一例について説明する。所定の領域ＡＲ０に対応する画像を表示画面に表示させると、本実施形態に係る画像処理装置は、操作対象画像と合成される撮像画像における領域の位置、大きさを、時間経過とともに、所定の領域ＡＲ０の位置、大きさから表示対象領域ＡＲ_Ｔの位置、大きさまで順次に変更させる（図１４に示すＣ１、Ｄ１、Ｅ１）。よって、表示画面には、図１４のＣ２〜図１４のＥ２に示すように、時間経過とともに表示対象領域ＡＲ_Ｔへとズームする画像が表示されることとなる。
ここで、ジェスチャ認識に係る処理を行う装置は、例えば、図１４に示すようなズーミングの最中であっても、操作対象領域に対してジェスチャ認識に係る処理を行うが、ジェスチャ認識に係る処理を行う装置における処理は、上記に限られない。例えば、ジェスチャ認識に係る処理を行う装置は、図１４に示すようなズーミングの最中には、ジェスチャ認識に係る処理を行わなくてもよい。図１４に示すようなズーミングの最中に、ジェスチャ認識に係る処理を行う装置がジェスチャ認識に係る処理を行わないことによって、ユーザが操作対象領域を把握できてない場合におけるユーザの誤操作を防止することが、可能となる。
上記（１）の処理（領域設定処理）において操作対象領域が設定された場合、本実施形態に係る画像処理装置は、例えば図１４に示すように、一旦所定の領域に対応する画像が表示されてから、当該画像が表示対象領域に対応する画像までズーミングするようなアニメーション表示がされる画像を、表示画面に表示させる。よって、各ユーザは、誰が操作者であるのかを、表示画面に表示される画像から把握することができる。
（２−４−２）他の画像処理の第２の例
なお、上記（１）の処理（領域設定処理）において操作対象領域が設定された場合における画像処理は、例えば図１４に示すように、新たに操作対象領域が設定された場合における処理に限られない。例えば、上記（１）の処理（領域設定処理）において操作対象領域が設定された場合に、既に操作対象領域が設定されていることもありうる。
上記（１）の処理（領域設定処理）において既に設定されている操作対象領域とは異なる新たな操作対象領域が設定された場合には、本実施形態に係る画像処理装置は、例えば、操作対象画像と合成される撮像画像における領域の位置、大きさを、既に設定されている操作対象領域に対応する表示対象領域の位置、大きさから、表示対象領域よりも大きな所定の領域の位置、大きさまで順次に変更してもよい。また、上記撮像画像における領域の位置、大きさが、所定の領域の位置、大きさまで変更された場合には、本実施形態に係る画像処理装置は、例えば、上記撮像画像における領域の位置、大きさを、所定の領域の位置、大きさから、新たに設定された操作対象領域に対応する表示対象領域の位置、大きさまで、順次に変更する。撮像画像における領域の位置、大きさを変更する場合には、本実施形態に係る画像処理装置は、例えば、位置、大きさが順次に変更される領域に対応する画像と、操作対象画像とを順次に合成する。
本実施形態に係る画像処理装置が、例えば上記のように操作対象画像と合成される撮像画像における領域の位置、大きさを変更して、当該領域に対応する画像と操作対象画像とを順次合成させることによって、後述する（３）の処理（表示制御処理）により表示画面に表示される画像は、例えば下記の（ｉ）、（ｉｉ）に示すようなアニメーション表示がされる画像となる。
（ｉ）既に設定されている操作対象領域に対応する表示対象領域に対応する画像が、所定の領域に対応する画像が表示されるまでズーミングするようなアニメーション表示（ズームアウト表示）
（ｉｉ）所定の領域に対応する画像が、表示対象領域に対応する画像が表示されるまでズーミングするようなアニメーション表示（ズームイン表示）
ここで、撮像画像に複数のユーザが存在する状況を想定する。上記の状況において、表示画面に表示される表示対象領域が、一のユーザに対して設定された操作対象領域に対応する表示対象領域から、他のユーザに対して設定された操作対象領域に対応する表示対象領域へと瞬時に切り替わると、各ユーザが、現在どのユーザのジェスチャが認識されるのか（換言すれば、どこに操作対象領域が設定されているのか）を、表示画面に表示されている画像から把握できないことが生じる可能性がある。
これに対して、本実施形態に係る画像処理装置は、まず、既に設定されている操作対象領域に対応する表示対象領域の画像が、所定の領域の画像までズーミングするようなアニメーション表示がされる画像を、表示画面に表示させる。そして、本実施形態に係る画像処理装置は、上記所定の領域の画像が、新たに設定された操作対象領域に対応する表示対象領域に対応する画像までズーミングするようなアニメーション表示がされる画像を、表示画面に表示させる。つまり、各ユーザは、ズームアウト表示によって一度俯瞰した画像を見た後に、ズームイン表示によって新たに設定された操作対象領域に対応する表示対象領域の画像を見ることとなる。よって、仮に、撮像画像に複数のユーザが存在し、設定された操作対象領域に対応するユーザが切り替わったとしても、本実施形態に係る画像処理装置は、各ユーザに、現在どのユーザのジェスチャが認識されるのか（換言すれば、どこに操作対象領域が設定されているのか）を、表示画面に表示されている画像からより容易に把握させることができる。
図１６は、本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図であり、本実施形態に係るアニメーション表示の一例を示している。ここで、図１６は、撮像画像と表示画面に表示される画像（ただし、操作対象画像は、省略。）との一例を、時系列に並べて示している（図１６では、右に配置される図程、時間が経過していることを示している。）。また、図１６では、撮像画像Ａ１と撮像画像と表示画面に表示される画像Ａ２とが時間的に対応する画像であり、同様に、撮像画像Ｂ１と撮像画像と表示画面に表示される画像Ｂ２、撮像画像Ｃ１と撮像画像と表示画面に表示される画像Ｃ２、撮像画像Ｄ１と撮像画像と表示画面に表示される画像Ｄ２、撮像画像Ｅ１と撮像画像と表示画面に表示される画像Ｅ２が、それぞれ時間的に対応する画像である。また、図１６では、既に設定されている操作対象領域に対応する表示対象領域を“ＡＲ_Ｔ１”と示し、新たに設定された操作対象領域に対応する表示対象領域を“ＡＲ_Ｔ２”と示している。また、図１６では、所定の領域を“ＡＲ０”と示し、位置、大きさが順次に変更される領域を“ＡＲ１”、“ＡＲ２”と示している。
表示対象領域ＡＲ_Ｔ１が表示画面に表示されているときに（図１６に示すＡ１、Ａ２）、新たな操作対象領域が設定されると、本実施形態に係る画像処理装置は、操作対象画像と合成される撮像画像における領域の位置、大きさを、時間経過とともに、表示対象領域ＡＲ_Ｔ１の位置、大きさから、所定の領域ＡＲ０の位置、大きさまで順次に変更させる（図１６に示すＢ１、Ｃ１）。よって、表示画面には、図１６のＢ２、Ｃ２に示すように、時間経過とともに所定の領域ＡＲ０へとズームする画像が表示されることとなる。ここで、図１６では、所定の領域ＡＲ０が、撮像画像全体である例を示しているが、本実施形態に係る表示対象領域よりも大きな所定の領域は、上述したように、上記に限られない。
また、操作対象画像と合成される撮像画像における領域の位置、大きさを、所定の領域ＡＲ０の位置、大きさまで変更させると、本実施形態に係る画像処理装置は、操作対象画像と合成される撮像画像における領域の位置、大きさを、時間経過とともに、所定の領域ＡＲ０の位置、大きさから、表示対象領域ＡＲ_Ｔ２の位置、大きさまで順次に変更させる（図１６に示すＤ１、Ｅ１）。よって、表示画面には、図１６のＤ２、Ｅ２に示すように、時間経過とともに表示対象領域ＡＲ_Ｔ２へとズームする画像が表示されることとなる。
ここで、ジェスチャ認識に係る処理を行う装置は、例えば、図１６に示すようなズーミングの最中であっても操作対象領域に対して、ジェスチャ認識に係る処理を行うが、ジェスチャ認識に係る処理を行う装置における処理は、上記に限られない。例えば、ジェスチャ認識に係る処理を行う装置は、図１４に示すようなズーミングの最中と同様に、図１６に示すようなズーミングの最中には、ジェスチャ認識に係る処理を行わなくてもよい。
図１７は、本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図である。図１７は、本実施形態に係るアニメーション表示が行われる際の、表示画面に表示される画像に含まれる撮像画像の領域の変化の一例を示している。例えば図１７に示すように、本実施形態に係る画像処理装置は、撮像画像全体の領域の中から、表示画面に表示される領域を変更することによって、例えば上記（ｉ）に示すアニメーション表示と上記（ｉｉ）に示すアニメーション表示とを組み合わせたアニメーション表示を実現する。
上記（１）の処理（領域設定処理）において、既に設定されている操作対象領域とは異なる新たな操作対象領域が設定された場合、本実施形態に係る画像処理装置は、例えば図１６に示すように、既に設定されている操作対象領域に対応する表示対象領域からのズームアウト表示と、新たに設定された操作対象領域に対応する表示対象領域へのズームイン表示とを組み合わせたアニメーション表示がされる画像を、表示画面に表示させる。よって、各ユーザは、誰から誰に操作者が移り変わったのかを、表示画面に表示される画像から把握することができる。
なお、本実施形態に係る画像処理装置は、例えば、ズーミングアニメーション表示中において、操作対象画像の可視化の程度を調整してもよい。本実施形態に係る画像処理装置における操作対象画像の可視化の程度を調整例としては、例えば、ウィジェットのようなＧＵＩの透過度を落とすことが挙げられる。ＧＵＩの透過度を落とすことによって、本実施形態に係る画像処理装置は、操作対象画像と合成される、撮像画像における領域の画像（フィードバックの画像）の視認性を一時的に上げ、操作者の切り替わりをユーザがより把握し易くさせることができる。なお、本実施形態に係る画像処理装置における操作対象画像の可視化の程度を調整例は、上記に限られない。例えば、本実施形態に係る画像処理装置は、ウィジェットのようなＧＵＩを一時的に非表示とさせてもよい。
また、本実施形態に係る画像処理装置は、例えば、撮像画像の可視化の程度を変化させる場合において、撮像画像の可視化の程度を調整してもよい。本実施形態に係る画像処理装置における撮像画像の可視化の程度を調整例としては、例えば、撮像画像のぼかし加減を弱めることなどが挙げられる。
（２−４−３）他の画像処理の第３の例
なお、上記（１）の処理（領域設定処理）において既に設定されている操作対象領域とは異なる新たな操作対象領域が設定された場合における画像処理は、例えば図１６に示すように、ズームアウト表示とズームイン表示とを組み合わせたアニメーション表示の実現に係る処理に限られない。
例えば、上記（１）の処理（領域設定処理）において既に設定されている操作対象領域とは異なる新たな操作対象領域が設定された場合には、本実施形態に係る画像処理装置は、操作対象画像と合成される撮像画像における領域の位置を、既に設定されている操作対象領域に対応する表示対象領域から、新たに設定された操作対象領域に対応する表示対象領域へと移動するように変更してもよい。
図１８は、本実施形態に係る画像処理装置における画像処理の他の例を説明するための説明図であり、本実施形態に係る表示画面に表示される領域の移動の一例を示している。ここで、図１８は、撮像画像を示している。また、図１８では、既に設定されている操作対象領域に対応する表示対象領域を“ＡＲ_Ｔ１”と示し、新たに設定された操作対象領域に対応する表示対象領域を“ＡＲ_Ｔ２”と示している。また、図１８では、領域の移動の軌跡を“Ｌ”で表している。
図１８のＬに示すように、本実施形態に係る画像処理装置は、例えば、撮像画像から認識された顔領域を通過する軌跡を描くように、操作対象画像と合成される撮像画像における領域の位置を変更する。例えば図１８に示すように、撮像画像から認識された顔領域を通過する軌跡を描くように、操作対象画像と合成される撮像画像における領域の位置を変更することによって、操作者の切り替わりが強調される表示が実現される。
なお、本実施形態に係る操作対象画像と合成される撮像画像における領域の位置の変更方法は、上記に限られない。例えば、本実施形態に係る画像処理装置は、既に設定されている操作対象領域に対応する表示対象領域から、新たに設定された操作対象領域に対応する表示対象領域へと、最短距離で移動するように、操作対象画像と合成される撮像画像における領域の位置を変更してもよい。
（３）表示制御処理
上記（２）の処理（画像処理）が完了すると、本実施形態に係る画像処理装置は、合成された画像を表示画面に表示させる。
ここで、本実施形態に係る画像処理装置が外部の表示装置の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、例えば、上記画像を示す画像信号を当該表示装置へ送信することによって、当該表示装置に上記画像を表示させる。また、本実施形態に係る画像処理装置が表示部（後述する）の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、表示部（後述する）に上記画像を示す画像信号を伝達することによって、上記画像を表示させる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（領域設定処理）、上記（２）の処理（画像処理）、および（３）の処理（表示制御処理）を行う。本実施形態に係る画像処理装置は、上記（１）の処理（領域設定処理）において、操作対象領域を設定する。また、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、撮像画像のうちの表示対象領域（操作対象領域に対応する領域）に対応する画像と、操作対象画像とを合成する。そして、合成された画像は、上記（３）の処理（表示制御処理）によって表示画面に表示される。
ここで、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、設定された操作対象領域に対応する表示対象領域に対応する画像と操作対象画像とを合成するので、ユーザが表示画面内に配置されている操作対象オブジェクトを操作することができないことは、防止される。
したがって、本実施形態に係る画像処理装置は、ユーザの操作性の低下の防止を図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
また、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、撮像画像の可視化の程度を変化させてもよい。上記（２）の処理（画像処理）において撮像画像の可視化の程度を変化させる場合には、本実施形態に係る画像処理装置は、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、操作対象オブジェクトの視認性が低下することを防止することが可能である。したがって、上記（２）の処理（画像処理）において撮像画像の可視化の程度を変化させる場合には、本実施形態に係る画像処理装置は、操作対象オブジェクトの視認性の低下の防止と、ユーザの操作性の低下の防止とを図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
また、本実施形態に係る画像処理装置が、上記（２）の処理（画像処理）において、操作対象画像に含まれる操作対象オブジェクトに基づいて、撮像画像を部分的に可視化させる部分的範囲を決定する場合には、操作対象画像に含まれる操作対象オブジェクトがよりくっきり表示された画像を、表示画面に表示することが可能となる。したがって、上記の場合には、本実施形態に係る画像処理装置は、例えば操作対象画像に含まれる操作対象オブジェクト（すなわち、ＧＵＩを構成する操作対象オブジェクト）の視認性を、より向上させることができる。
また、本実施形態に係る画像処理装置が、上記（２）の処理（画像処理）において、撮像画像から認識される所定の対象に基づいて、撮像画像を部分的に可視化させる部分的範囲を決定する場合には、例えば、図９Ａ〜図１０Ｂに示すように操作を行うユーザ自身の顔が表示画面に表示されないことなどが実現される。したがって、上記の場合には、本実施形態に係る画像処理装置は、例えばユーザに生々しさを感じさせない鏡像表現を実現することが可能となるので、ユーザに生々しさを感じさせないジェスチャ認識のフィードバックを、ユーザに対して行うことができる。
また、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、撮像画像の可視化の程度を変化させるので、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、ジェスチャによる操作に不要な領域の可視化を制御することが可能である。したがって、本実施形態に係る画像処理装置は、例えばユーザによるより細かなジェスチャによる操作をより容易とすることが可能であるので、ユーザの操作性をより向上させることができる。
また、本実施形態に係る画像処理装置は、例えば、上記（２）の処理（画像処理）、および（３）の処理（表示制御処理）によって、ズーミングするようなアニメーション表示によって、操作対象領域に対応する表示対象領域の画像を表示画面に表示させることも可能である。ズーミングするようなアニメーション表示により、操作対象領域に対応する表示対象領域の画像を表示画面に表示させることによって、本実施形態に係る画像処理装置は、ユーザに、現在どのユーザのジェスチャが認識されるのかを、表示画面に表示されている画像からより容易に把握させることができる。
なお、本実施形態に係る画像処理装置における、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（領域設定処理）〜（３）の処理（表示制御処理）に限られない。例えば、本実施形態に係る画像処理装置は、合成された画像における、ジェスチャ認識が行われる認識対象オブジェクトの位置と、操作対象画像に含まれるジェスチャ認識の結果に応じて操作される操作対象オブジェクトの位置とに基づいて、操作対象オブジェクトにおいて可能なジェスチャ操作を、ユーザに対して通知させてもよい（通知処理）。
ここで、本実施形態に係る認識対象オブジェクトとしては、例えば、ユーザの手などのユーザの体の一部や、ユーザにより操作される物体の形状など、ユーザのジェスチャを認識するジェスチャ認識対象物体が挙げられる。
図１９〜図２１は、本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。ここで、図１９〜図２１それぞれは、本実施形態に係る通知処理によって、ユーザの手（認識対象オブジェクトの一例）などにより選択された、ＧＵＩを構成するアイコンや、コンテンツに対して、どのようなジェスチャ操作が可能であるかを、視覚的に通知する例を示している。また、図１９〜図２１では、本実施形態に係る画像処理装置が、可視化の程度を変化させた撮像画像を操作対象画像に合成させた一例を、簡略化して示している。
例えば図１９は、アイコンを操作可能な範囲内に、ユーザの手の位置が存在する場合に、本実施形態に係る画像処理装置が、スクロール可能な方向を示す補助アイコン（図１９に示すＩ１、Ｉ２）を表示画面に表示させる例を示している。
また、例えば図２０は、コンテンツを操作可能な範囲内に、ユーザの手の位置が存在する場合に、本実施形態に係る画像処理装置が、どのようなジェスチャで当該コンテンツを決定できるのかを示すアイコンを表示画面に表示させる例を示している。なお、本実施形態に係る画像処理装置は、アニメーション表示によって、どのようなジェスチャで当該コンテンツを決定できるのかをユーザに通知してもよい。
また、例えば図２１は、コンテンツを操作可能な範囲内に、ユーザの手の位置が存在する場合に、どのようなジェスチャで当該コンテンツを決定できるのか、または、どのようなジェスチャでコンテンツの切り替えができるのかを示すアイコンを表示画面に表示させる例を示している。なお、本実施形態に係る画像処理装置は、アニメーション表示によって、どのようなジェスチャで当該コンテンツを決定できるのか、または、どのようなジェスチャでコンテンツの切り替えができるのかをユーザに通知してもよい。
また、例えば図２１に示すように、本実施形態に係る画像処理装置は、ジェスチャで操作できるもの（例えば図２１に示すＡ）と、ジェスチャで操作できないもの（図２１に示すＢ〜Ｅ）との表現をかえることによって、ジェスチャで操作できるか否かをユーザに通知してもよい。ここで、ジェスチャで操作できるか否かを示す表現方法としては、例えば、透過度を変える表現などが挙げられる。
本実施形態に係る画像処理装置は、（４）通知処理として、例えば上記のような操作対象オブジェクトにおいて可能なジェスチャ操作を視覚的に通知させる処理を行う。なお、本実施形態に係る画像処理装置における通知処理は、図１９〜図２１に示すように、操作対象オブジェクトにおいて可能なジェスチャ操作を視覚的に通知させる処理に限られない。例えば、本実施形態に係る画像処理装置は、音声（音楽やビープ音などを含む。以下、同様とする。）を用いた聴覚的な通知方法によって、操作対象オブジェクトにおいて可能なジェスチャ操作を通知させてもよい。また、本実施形態に係る画像処理装置は、例えば、視覚的な通知と聴覚的な通知とを組み合わせた通知を行わせてもよい。
ここで、本実施形態に係る画像処理装置が通知を行わせる対象としては、例えば、自装置（本実施形態に係る画像処理装置）が備える表示部（後述する）や音声出力部（後述する）、および／または、外部表示装置や外部音声出力装置などの外部装置などが挙げられる。
［２］本実施形態に係る画像処理方法に係る処理の一例
図２２は、本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。以下では、本実施形態に係る画像処理装置が、図２２に示す処理を行うものとして説明する。ここで、図２２では、例えば、ステップＳ１００、Ｓ１０２、Ｓ１１０、Ｓ１１２の処理が、上記（１）の処理（領域設定処理）に該当する。また、図２２では、例えば、ステップＳ１０４〜Ｓ１０８、Ｓ１１４、Ｓ１１６の処理が、上記（２）の処理（画像処理）および上記（３）の処理（表示制御処理）に該当する。なお、以下では、例えば、ステップＳ１０２の処理が行われてから、ステップＳ１０８の処理が行われるまで、基本的に、上記（２）の処理（画像処理）および上記（３）の処理（表示制御処理）によって、合成された画像が表示画面に表示されるものとして説明する。
本実施形態に係る画像処理装置は、ジェスチャ認識が開始されるか否かを判定する（Ｓ１００）。ここで、本実施形態に係る画像処理装置は、例えば、ジェスチャ認識の開始条件（ジェスチャ認識開始のトリガ）を満たすかを判定し、ジェスチャ認識の開始条件を満たすと判定された場合に、ジェスチャ認識が開始されると判定する。
ステップＳ１００においてジェスチャ認識が開始されると判定されない場合は、本実施形態に係る画像処理装置は、ジェスチャ認識が開始されると判定されるまで処理を進めない。
また、ステップＳ１００においてジェスチャ認識が開始されると判定された場合は、本実施形態に係る画像処理装置は、操作対象領域を設定する（Ｓ１０２）。
ステップＳ１０２において操作対象領域が設定されると、本実施形態に係る画像処理装置は、ズームアニメーション表示を行う（Ｓ１０４）。ここで、ステップＳ１０４におけるズームアニメーション表示としては、例えば、ステップＳ１０２において設定された操作対象領域に対応する表示対象領域よりも大きな所定の領域から、当該表示対象領域までズームインさせる表示が挙げられる。
なお、図２２では示していないが、ステップＳ１０２の処理以降、ジェスチャ認識に係る処理を行う装置は、ステップＳ１０２において設定された操作対象領域におけるジェスチャを認識して、認識結果に応じた処理を行う。
本実施形態に係る画像処理装置は、ジェスチャ認識に係る処理を行う装置におけるジェスチャ認識が終了したか否かを判定する（Ｓ１０６）。ジェスチャ認識に係る処理を行う装置が自装置（本実施形態に係る画像処理装置）である場合には、本実施形態に係る画像処理装置は、例えば、ステップＳ１００と同様に、ジェスチャ認識の終了条件（ジェスチャ認識終了のトリガ）を満たすかを判定し、ジェスチャ認識の終了条件を満たすと判定された場合に、ジェスチャ認識が終了したと判定する。また、本実施形態に係る画像処理装置は、例えば、一定時間操作または検出対象の動きが検出されない場合や、コンテンツやアイコンなどが選択された場合に、ジェスチャ認識の終了条件を満たすと判定してもよい。また、ジェスチャ認識に係る処理を行う装置が外部装置である場合には、本実施形態に係る画像処理装置は、例えば、当該外部装置から送信される、ジェスチャ認識が終了したことを示す信号を受信したときに、ジェスチャ認識が終了したと判定する。
ステップＳ１０６において、ジェスチャ認識に係る処理を行う装置におけるジェスチャ認識が終了したと判定された場合には、本実施形態に係る画像処理装置は、操作対象画像を表示画面に表示させて、ユーザへの画像によるフィードバックを終了する。そして、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を終了する。
また、ステップＳ１０６において、ジェスチャ認識に係る処理を行う装置におけるジェスチャ認識が終了したと判定されない場合には、本実施形態に係る画像処理装置は、新たなジェスチャ認識が開始されるか否かを判定する（Ｓ１１０）。ここで、本実施形態に係る画像処理装置は、例えばステップＳ１００と同様の処理によって、新たなジェスチャ認識の開始条件を満たすと判定された場合に、新たなジェスチャ認識が開始されると判定する。また、ステップＳ１１０において判定される新たなジェスチャ認識を行う対象は、例えば、既に設定されている操作対象領域に対応するユーザとは異なる他のユーザのであってもよいし、既に設定されている操作対象領域に対応するユーザと同一のユーザであってもよい。
ステップＳ１１０において新たなジェスチャ認識が開始されると判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ１０６からの処理を繰り返す。
また、ステップＳ１１０において新たなジェスチャ認識が開始されると判定された場合には、本実施形態に係る画像処理装置は、ステップＳ１０２と同様に、操作対象領域を設定する（Ｓ１１２）。
ステップＳ１１２において操作対象領域が設定されると、本実施形態に係る画像処理装置は、ズームアニメーション表示を行う（Ｓ１１４、Ｓ１１６）。そして、本実施形態に係る画像処理装置は、ステップＳ１０６からの処理を繰り返す。ここで、ステップＳ１１４におけるズームアニメーション表示としては、例えば、既に設定されている操作対象領域に対応する表示対象領域から、当該表示対象領域およびステップＳ１１２において新たに設定された操作対象領域に対応する表示対象領域よりも大きな所定の領域までズームアウトさせる表示が挙げられる。また、ステップＳ１１６におけるズームアニメーション表示としては、例えば、上記所定の領域から、ステップＳ１１２において新たに設定された操作対象領域に対応する表示対象領域までズームインさせる表示が挙げられる。
本実施形態に係る画像処理装置は、例えば図２２に示す処理を行うことによって、本実施形態に係る画像処理方法に係る（１）の処理（領域設定処理）〜（３）の処理（表示制御処理）を実現する。なお、本実施形態に係る画像処理方法に係る処理が、図２２に示す処理に限られないことは、言うまでもない。
（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
図２３は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
また、画像処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
ここで、ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、操作対象画像を構成するデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。また、操作部（図示せず）としては、後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［画像処理装置１００のハードウェア構成例］
図２４は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する領域設定部１１０、画像処理部１１２、および表示制御部１１４の役目を果たす。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、操作対象画像を構成するデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。
なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や、表示装置、サーバなどの外部装置と無線／有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
画像処理装置１００は、例えば図２４に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図２３に示す構成に限られない。例えば、画像処理装置１００は、静止画像または動画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像を処理することが可能となる。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
また、画像処理装置１００は、例えば、ＤＳＰ（Digital Signal Processor）と音声出力デバイスとをさらに備えていてもよい。本実施形態に係る音声出力デバイスとしては、例えば、増幅器（アンプ）およびスピーカなどが挙げられる。ＤＳＰと音声出力デバイスとをさらに備える場合には、画像処理装置１００は、音声出力デバイスから出力される音声によって、操作対象オブジェクトにおいて可能なジェスチャ操作などの通知を行うことが可能となる。
また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス１６４を備えていなくてもよい。また、画像処理装置１００は、操作デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。
再度図２３を参照して、画像処理装置１００の構成の一例について説明する。通信部１０２は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や、表示装置、サーバなどの外部装置と無線／有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部１０４は、例えばＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、領域設定部１１０と、画像処理部１１２と、表示制御部１１４とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。
領域設定部１１０は、上記（１）の処理（領域設定処理）を主導的に行う役目を果たし、例えば、撮像画像の一部に操作対象領域を設定する。
画像処理部１１２は、上記（２）の処理（画像処理）を主導的に行う役目を果たし、領域設定部１１０において設定された操作対象領域に対応する表示対象領域の画像と、操作対象画像とを合成する。また、画像処理部１１２は、例えば、撮像画像、または、操作対象画像に基づいて、撮像画像の可視化の程度を変化させ、領域設定部１１０において設定された操作対象領域に対応する表示対象領域の画像と、操作対象画像とを合成してもよい。
表示制御部１１４は、上記（３）の処理（表示制御処理）を主導的に行う役目を果たし、画像処理部１１２によって合成された画像を、表示画面に表示させる。
制御部１０４は、例えば、領域設定部１１０、画像処理部１１２、および表示制御部１１４を備えることによって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（領域設定処理）〜上記（３）の処理（表示制御処理））を主導的に行う。
なお、本実施形態に係る制御部の構成は、図２３に示す構成に限られない。例えば、本実施形態に係る制御部は、上記（４）の処理（通知処理）を行う通知処理部（図示せず）をさらに備えていてもよい。また、本実施形態に係る制御部は、例えば、設定された操作対象領域においてジェスチャを認識し、認識されたジェスチャ認識に係る処理を行うジェスチャ認識処理部（図示せず）をさらに備えていてもよい。
画像処理装置１００は、例えば図２３に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（領域設定処理）〜上記（３）の処理（表示制御処理））を行う。したがって、画像処理装置１００は、例えば図２３に示す構成によって、操作対象オブジェクトの視認性の低下の防止と、ユーザの操作性の低下の防止とを図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
なお、本実施形態に係る画像処理装置の構成は、図２３に示す構成に限られない。例えば、本実施形態に係る画像処理装置は、図２３に示す領域設定部１１０、画像処理部１１２、および表示制御部１１４や、通知処理部（図示せず）、ジェスチャ認識処理部（図示せず）を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
また、本実施形態に係る画像処理装置は、例えば、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、撮像部（図示せず）における撮像により生成された撮像画像を処理することが可能となる。
また、本実施形態に係る画像処理装置は、例えば、音声を出力することが可能な音声出力部（図示せず）をさらに備えていてもよい。ここで、音声出力部（図示せず）としては、例えば、ＤＳＰ、および音声出力デバイスが挙げられる。音声出力部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、音声出力部（図示せず）から出力される音声によって、操作対象オブジェクトにおいて可能なジェスチャ操作やエラー通知などの各種通知をユーザに対して行うことができる。
また、本実施形態に係る画像処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部１０２を備えていなくてもよい。
以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（領域設定処理）、上記（２）の処理（画像処理）、および（３）の処理（表示制御処理）を行う。本実施形態に係る画像処理装置は、上記（１）の処理（領域設定処理）において、操作対象領域を設定する。また、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、撮像画像のうちの表示対象領域（操作対象領域に対応する領域）に対応する画像と、操作対象画像とを合成する。そして、合成された画像は、上記（３）の処理（表示制御処理）によって表示画面に表示される。
ここで、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、設定された操作対象領域に対応する表示対象領域に対応する画像と操作対象画像とを合成するので、ユーザが表示画面内に配置されている操作対象オブジェクトを操作することができないことは、防止される。
したがって、本実施形態に係る画像処理装置は、ユーザの操作性の低下の防止を図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
また、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、撮像画像の可視化の程度を変化させてもよい。上記（２）の処理（画像処理）において撮像画像の可視化の程度を変化させる場合には、本実施形態に係る画像処理装置は、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、操作対象オブジェクトの視認性が低下することを防止することが可能である。したがって、上記（２）の処理（画像処理）において撮像画像の可視化の程度を変化させる場合には、本実施形態に係る画像処理装置は、操作対象オブジェクトの視認性の低下の防止と、ユーザの操作性の低下の防止とを図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
また、本実施形態に係る画像処理装置は、上記（１）の処理（領域設定処理）において、例えば、ユーザの位置や姿勢、顔や手の大きさなどに応じて操作対象領域を設定する。顔や手の大きさなどから操作対象領域を設定することによって、ユーザは、例えば、カメラから近い位置にいても、離れた位置にいても、同じ操作感でジェスチャ操作を行うことができる。また、本実施形態に係る画像処理装置が、顔や手などの検出対象の移動に応じて操作対象領域を動的に更新（再設定）することによって、操作者（ユーザ）がジェスチャ操作の途中で移動しても、ユーザは、継続して操作を行うことができる。
また、本実施形態に係る画像処理装置は、例えば、上記（２）の処理（画像処理）、および（３）の処理（表示制御処理）によって、ズーミングするようなアニメーション表示によって、操作対象領域に対応する表示対象領域の画像を表示画面に表示させることも可能である。ズーミングするようなアニメーション表示により、操作対象領域に対応する表示対象領域の画像を表示画面に表示させることによって、本実施形態に係る画像処理装置は、ユーザに、現在どのユーザのジェスチャが認識されるのかを、表示画面に表示されている画像からより容易に把握させることができる。また、ズーミングするようなアニメーション表示により、操作対象領域に対応する表示対象領域の画像を表示画面に表示させることによって、例えば、操作者（ユーザ）がカメラの画角外にはみでるときなど、本実施形態に係る画像処理装置が、やむを得ず操作者が意図した範囲と異なる範囲に操作対象領域を設定する場合でも、操作者は、どこに操作対象領域が設定されたかを把握することができる。また、ズーミングするようなアニメーション表示により、操作対象領域に対応する表示対象領域の画像を表示画面に表示させることによって、認識されたユーザの位置・姿勢（例えば、座る、立つ、寝転がるなど）によって操作対象領域が変わっても、ユーザは、どこで手などを動かせばジェスチャ操作ができるかを把握することができる。さらに、ズーミングするようなアニメーション表示により、操作対象領域に対応する表示対象領域の画像を表示画面に表示させることによって、ユーザは、操作者が切り替わったことをすぐに把握することができる。
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、デジタルカメラなどの撮像装置など、画像を処理し、表示画面における表示を制御することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。
また、本実施形態に係る画像処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなる画像処理システムにより実現されてもよい。
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（領域設定処理）〜上記（３）の処理（表示制御処理）”や、“上記（１）の処理（領域設定処理）〜上記（４）の処理（通知処理）”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、操作対象オブジェクトの視認性の低下の防止と、ユーザの操作性の低下の防止とを図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定する領域設定部と、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成する画像処理部と、
合成された画像を、表示画面に表示させる表示制御部と、
を備える、画像処理装置。
（２）
前記領域設定部が設定する前記操作対象領域は、前記撮像画像全体の領域より小さく、前記表示対象領域よりも大きい領域である、（１）に記載の画像処理装置。
（３）
前記領域設定部は、前記撮像画像における検出対象の位置および大きさ、検出対象の動き、ユーザの姿勢、検出対象の形状および前記操作対象画像に含まれる操作対象オブジェクトのサイズのうちの、１または２以上に基づいて、前記操作対象領域を設定する、（１）、または（２）に記載の画像処理装置。
（４）
前記操作対象画像には、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれ、
前記画像処理部は、前記操作対象画像の前記ジェスチャ認識がされない領域には、前記撮像画像を合成させない、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記領域設定部は、ジェスチャ認識の開始条件を満たすかを判定し、ジェスチャ認識の開始条件を満たすと判定された場合に、前記操作対象領域を設定する、（１）〜（４）のいずれか１つに記載の画像処理装置。
（６）
前記領域設定部が前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、前記表示対象領域よりも大きな所定の領域の位置、大きさから、前記表示対象領域の位置、大きさまで順次に変更し、
位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）
前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、既に設定されている前記操作対象領域に対応する前記表示対象領域の位置、大きさから、前記表示対象領域よりも大きな所定の領域の位置、大きさまで順次に変更し、
前記撮像画像における領域の位置、大きさが、前記所定の領域の位置、大きさまで変更された場合には、
前記撮像画像における領域の位置、大きさを、前記所定の領域の位置、大きさから、新たに設定された操作対象領域に対応する前記表示対象領域の位置、大きさまで、順次に変更し、
位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、（１）〜（５）のいずれか１つに記載の画像処理装置。
（８）
前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置を、既に設定されている前記操作対象領域に対応する前記表示対象領域から新たに設定された操作対象領域に対応する前記表示対象領域へと移動するように変更する、（１）〜（５）のいずれか１つに記載の画像処理装置。
（９）
前記合成された画像における、ジェスチャ認識が行われる認識対象オブジェクトの位置と、前記操作対象画像に含まれるジェスチャ認識の結果に応じて操作される操作対象オブジェクトの位置とに基づいて、前記操作対象オブジェクトにおいて可能なジェスチャ操作をユーザに対して通知させる通知処理部をさらに備える、（１）〜（８）のいずれか１つに記載の画像処理装置。
（１０）
前記画像処理部は、前記撮像画像に基づいて前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像における前記表示対象領域の画像と、前記操作対象画像とを合成する、請求項１に記載の画像処理装置。
（１１）
前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を部分的に可視化させる部分的範囲を変化させる、（１０）に記載の画像処理装置。
（１２）
前記画像処理部は、前記撮像画像から認識される所定の対象に基づいて、前記部分的範囲を決定する、（１１）に記載の画像処理装置。
（１３）
前記画像処理部は、前記撮像画像の部分的な可視化として、前記撮像画像を透過させる度合い、または、前記撮像画像が表示される面積を変化させる、（１１）に記載の画像処理装置。
（１４）
前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を平滑化する平滑化の度合いを変化させる、（１０）に記載の画像処理装置。
（１５）
ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップと、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップと、
合成された画像を、表示画面に表示させるステップと、
を有する、画像処理方法。
（１６）
ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップ、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップ、
合成された画像を、表示画面に表示させるステップ、
をコンピュータに実行させるためのプログラム。
１００ 画像処理装置
１０２ 通信部
１０４ 制御部
１１０ 領域設定部
１１２ 画像処理部
１１４ 表示制御部

Claims (16)

  1. ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定する領域設定部と、
    前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成する画像処理部と、
    合成された画像を、表示画面に表示させる表示制御部と、
    を備える、画像処理装置。
  2. 前記領域設定部が設定する前記操作対象領域は、前記撮像画像全体の領域より小さく、前記表示対象領域よりも大きい領域である、請求項１に記載の画像処理装置。
  3. 前記領域設定部は、前記撮像画像における検出対象の位置および大きさ、検出対象の動き、ユーザの姿勢、検出対象の形状および前記操作対象画像に含まれる操作対象オブジェクトのサイズのうちの、１または２以上に基づいて、前記操作対象領域を設定する、請求項１に記載の画像処理装置。
  4. 前記操作対象画像には、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれ、
    前記画像処理部は、前記操作対象画像の前記ジェスチャ認識がされない領域には、前記撮像画像を合成させない、請求項１に記載の画像処理装置。
  5. 前記領域設定部は、ジェスチャ認識の開始条件を満たすかを判定し、ジェスチャ認識の開始条件を満たすと判定された場合に、前記操作対象領域を設定する、請求項１に記載の画像処理装置。
  6. 前記領域設定部が前記操作対象領域を設定した場合、
    前記画像処理部は、
    前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、前記表示対象領域よりも大きな所定の領域の位置、大きさから、前記表示対象領域の位置、大きさまで順次に変更し、
    位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、請求項１に記載の画像処理装置。
  7. 前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
    前記画像処理部は、
    前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、既に設定されている前記操作対象領域に対応する前記表示対象領域の位置、大きさから、前記表示対象領域よりも大きな所定の領域の位置、大きさまで順次に変更し、
    前記撮像画像における領域の位置、大きさが、前記所定の領域の位置、大きさまで変更された場合には、
    前記撮像画像における領域の位置、大きさを、前記所定の領域の位置、大きさから、新たに設定された操作対象領域に対応する前記表示対象領域の位置、大きさまで、順次に変更し、
    位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、請求項１に記載の画像処理装置。
  8. 前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
    前記画像処理部は、
    前記操作対象画像と合成される前記撮像画像における領域の位置を、既に設定されている前記操作対象領域に対応する前記表示対象領域から新たに設定された操作対象領域に対応する前記表示対象領域へと移動するように変更する、請求項１に記載の画像処理装置。
  9. 前記合成された画像における、ジェスチャ認識が行われる認識対象オブジェクトの位置と、前記操作対象画像に含まれるジェスチャ認識の結果に応じて操作される操作対象オブジェクトの位置とに基づいて、前記操作対象オブジェクトにおいて可能なジェスチャ操作をユーザに対して通知させる通知処理部をさらに備える、請求項１に記載の画像処理装置。
  10. 前記画像処理部は、前記撮像画像に基づいて前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像における前記表示対象領域の画像と、前記操作対象画像とを合成する、請求項１に記載の画像処理装置。
  11. 前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を部分的に可視化させる部分的範囲を変化させる、請求項１０に記載の画像処理装置。
  12. 前記画像処理部は、前記撮像画像から認識される所定の対象に基づいて、前記部分的範囲を決定する、請求項１１に記載の画像処理装置。
  13. 前記画像処理部は、前記撮像画像の部分的な可視化として、前記撮像画像を透過させる度合い、または、前記撮像画像が表示される面積を変化させる、請求項１１に記載の画像処理装置。
  14. 前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を平滑化する平滑化の度合いを変化させる、請求項１０に記載の画像処理装置。
  15. ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップと、
    前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップと、
    合成された画像を、表示画面に表示させるステップと、
    を有する、画像処理方法。
  16. ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップ、
    前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップ、
    合成された画像を、表示画面に表示させるステップ、
    をコンピュータに実行させるためのプログラム。
JP2012133786A 2012-06-13 2012-06-13 画像処理装置、画像処理方法、およびプログラム Active JP5935529B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2012133786A JP5935529B2 (ja) 2012-06-13 2012-06-13 画像処理装置、画像処理方法、およびプログラム
US14/380,812 US9509915B2 (en) 2012-06-13 2013-05-16 Image processing apparatus, image processing method, and program for displaying an image based on a manipulation target image and an image based on a manipulation target region
PCT/JP2013/003116 WO2013186986A1 (en) 2012-06-13 2013-05-16 Image processing apparatus, image processing method, and program
RU2014149214A RU2014149214A (ru) 2012-06-13 2013-05-16 Устройство обработки изображения, способ обработки изображения и программа
BR112014030585A BR112014030585A2 (pt) 2012-06-13 2013-05-16 sistema de processamento de informação, método executado por um sistema de processamento de informação, e, meio legível por computador não transitório
CN201380029940.7A CN104335143A (zh) 2012-06-13 2013-05-16 图像处理装置、图像处理方法和程序
EP13730945.6A EP2862041B1 (en) 2012-06-13 2013-05-16 Image processing apparatus, image processing method, and program
US15/337,029 US10073534B2 (en) 2012-06-13 2016-10-28 Image processing apparatus, image processing method, and program to control a display to display an image generated based on a manipulation target image
US16/108,172 US10671175B2 (en) 2012-06-13 2018-08-22 Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012133786A JP5935529B2 (ja) 2012-06-13 2012-06-13 画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2013257762A true JP2013257762A (ja) 2013-12-26
JP2013257762A5 JP2013257762A5 (ja) 2015-03-12
JP5935529B2 JP5935529B2 (ja) 2016-06-15

Family

ID=48672771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012133786A Active JP5935529B2 (ja) 2012-06-13 2012-06-13 画像処理装置、画像処理方法、およびプログラム

Country Status (7)

Country Link
US (3) US9509915B2 (ja)
EP (1) EP2862041B1 (ja)
JP (1) JP5935529B2 (ja)
CN (1) CN104335143A (ja)
BR (1) BR112014030585A2 (ja)
RU (1) RU2014149214A (ja)
WO (1) WO2013186986A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026355A (ja) * 2012-07-25 2014-02-06 Hitachi Consumer Electronics Co Ltd 映像表示装置および映像表示方法
JP2015191435A (ja) * 2014-03-28 2015-11-02 株式会社ユピテル 電子情報システム及びそのプログラム
JP2015210684A (ja) * 2014-04-25 2015-11-24 富士通株式会社 入力制御装置、制御方法および制御プログラム
JP2016146176A (ja) * 2015-02-06 2016-08-12 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ コンピュータ視覚ベースのプロセス認識
JP2017084003A (ja) * 2015-10-26 2017-05-18 船井電機株式会社 入力装置
JP2017111515A (ja) * 2015-12-14 2017-06-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および警告提示方法
JP2018163668A (ja) * 2018-05-14 2018-10-18 株式会社ユピテル 電子情報システム及びそのプログラム
JP2020508511A (ja) * 2017-12-22 2020-03-19 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 動的ジェスチャ認識方法および装置、ジェスチャ対話制御方法および装置
JPWO2021171686A1 (ja) * 2020-02-28 2021-09-02
JP2023518562A (ja) * 2020-03-23 2023-05-02 華為技術有限公司 デバイスのハンドジェスチャベースの制御のための方法及びシステム
JP7351089B2 (ja) 2019-03-18 2023-09-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5935529B2 (ja) * 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR102121592B1 (ko) * 2013-05-31 2020-06-10 삼성전자주식회사 시력 보호 방법 및 장치
KR20150082963A (ko) * 2014-01-08 2015-07-16 삼성전자주식회사 모션 인식을 이용한 서비스 실행 방법 및 이를 적용한 디스플레이 장치
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
KR102294599B1 (ko) * 2014-09-02 2021-08-27 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP2016194799A (ja) * 2015-03-31 2016-11-17 富士通株式会社 画像解析装置及び画像解析方法
JP2016218766A (ja) * 2015-05-21 2016-12-22 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6587489B2 (ja) * 2015-10-07 2019-10-09 キヤノン株式会社 画像処理装置、画像処理方法および画像処理システム
CN105635574B (zh) * 2015-12-29 2019-02-19 小米科技有限责任公司 图像的处理方法和装置
US10043066B2 (en) * 2016-08-17 2018-08-07 Intel Corporation Gesture masking in a video feed
US10726573B2 (en) * 2016-08-26 2020-07-28 Pixart Imaging Inc. Object detection method and system based on machine learning
CN107786867A (zh) 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
JP2019149066A (ja) * 2018-02-28 2019-09-05 富士ゼロックス株式会社 情報処理装置及びプログラム
US10643362B2 (en) * 2018-03-26 2020-05-05 Lenovo (Singapore) Pte Ltd Message location based on limb location
JP7135444B2 (ja) * 2018-05-29 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11106949B2 (en) * 2019-03-22 2021-08-31 Microsoft Technology Licensing, Llc Action classification based on manipulated object movement
CN112487844A (zh) * 2019-09-11 2021-03-12 华为技术有限公司 手势识别方法、电子设备、计算机可读存储介质和芯片
JPWO2021171685A1 (ja) * 2020-02-28 2021-09-02
US11294474B1 (en) * 2021-02-05 2022-04-05 Lenovo (Singapore) Pte. Ltd. Controlling video data content using computer vision

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005216061A (ja) * 2004-01-30 2005-08-11 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2009089068A (ja) * 2007-09-28 2009-04-23 Victor Co Of Japan Ltd 電子機器の制御装置、制御方法及び制御プログラム
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
WO2010095204A1 (ja) * 2009-02-18 2010-08-26 株式会社 東芝 インターフェース制御装置、及びその方法
JP2011044061A (ja) * 2009-08-24 2011-03-03 Tokyo Univ Of Agriculture & Technology 画像表示装置、入力装置、及び画像表示方法
JP2011186892A (ja) * 2010-03-10 2011-09-22 Sony Corp 画像処理装置、画像処理方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088018A (en) 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7982751B2 (en) 2003-07-11 2011-07-19 The University Of North Carolina Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop
WO2007013652A1 (ja) * 2005-07-29 2007-02-01 Pioneer Corporation 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
JP5181247B2 (ja) * 2008-12-04 2013-04-10 任天堂株式会社 情報処理装置
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US8922498B2 (en) * 2010-08-06 2014-12-30 Ncr Corporation Self-service terminal and configurable screen therefor
JP5935529B2 (ja) * 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005216061A (ja) * 2004-01-30 2005-08-11 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2009089068A (ja) * 2007-09-28 2009-04-23 Victor Co Of Japan Ltd 電子機器の制御装置、制御方法及び制御プログラム
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
WO2010095204A1 (ja) * 2009-02-18 2010-08-26 株式会社 東芝 インターフェース制御装置、及びその方法
JP2011044061A (ja) * 2009-08-24 2011-03-03 Tokyo Univ Of Agriculture & Technology 画像表示装置、入力装置、及び画像表示方法
JP2011186892A (ja) * 2010-03-10 2011-09-22 Sony Corp 画像処理装置、画像処理方法及びプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026355A (ja) * 2012-07-25 2014-02-06 Hitachi Consumer Electronics Co Ltd 映像表示装置および映像表示方法
JP2015191435A (ja) * 2014-03-28 2015-11-02 株式会社ユピテル 電子情報システム及びそのプログラム
JP2015210684A (ja) * 2014-04-25 2015-11-24 富士通株式会社 入力制御装置、制御方法および制御プログラム
JP2016146176A (ja) * 2015-02-06 2016-08-12 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ コンピュータ視覚ベースのプロセス認識
JP2017084003A (ja) * 2015-10-26 2017-05-18 船井電機株式会社 入力装置
US10486062B2 (en) 2015-12-14 2019-11-26 Sony Interactive Entertainment Inc. Information processing apparatus and warning presentation method
WO2017104515A1 (ja) * 2015-12-14 2017-06-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および警告提示方法
JP2017111515A (ja) * 2015-12-14 2017-06-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および警告提示方法
US10888772B2 (en) 2015-12-14 2021-01-12 Sony Interactive Entertainment Inc. Information processing apparatus and warning presentation method
US11697062B2 (en) 2015-12-14 2023-07-11 Sony Interactive Entertainment Inc. Information processing apparatus and warning presentation method
JP2020508511A (ja) * 2017-12-22 2020-03-19 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 動的ジェスチャ認識方法および装置、ジェスチャ対話制御方法および装置
US11221681B2 (en) 2017-12-22 2022-01-11 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction
JP2018163668A (ja) * 2018-05-14 2018-10-18 株式会社ユピテル 電子情報システム及びそのプログラム
JP7351089B2 (ja) 2019-03-18 2023-09-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JPWO2021171686A1 (ja) * 2020-02-28 2021-09-02
WO2021171686A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 ジェスチャー認識装置、ジェスチャー認識装置の作動方法、ジェスチャー認識装置の作動プログラム
JP2023518562A (ja) * 2020-03-23 2023-05-02 華為技術有限公司 デバイスのハンドジェスチャベースの制御のための方法及びシステム
JP7447302B2 (ja) 2020-03-23 2024-03-11 華為技術有限公司 デバイスのハンドジェスチャベースの制御のための方法及びシステム

Also Published As

Publication number Publication date
WO2013186986A1 (en) 2013-12-19
BR112014030585A2 (pt) 2017-09-26
US20190004615A1 (en) 2019-01-03
EP2862041B1 (en) 2019-12-18
US20150288883A1 (en) 2015-10-08
US9509915B2 (en) 2016-11-29
JP5935529B2 (ja) 2016-06-15
US20170108934A1 (en) 2017-04-20
RU2014149214A (ru) 2016-06-27
CN104335143A (zh) 2015-02-04
US10073534B2 (en) 2018-09-11
EP2862041A1 (en) 2015-04-22
US10671175B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
JP5935529B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
JP6886939B2 (ja) 情報処理装置の制御方法、制御プログラム及び情報処理装置
CN112135049B (zh) 图像处理方法、装置及电子设备
US8542199B2 (en) Image processing apparatus, image processing method, and program
CN104298433A (zh) 屏幕显示方法、装置及移动终端
JP2012079167A (ja) 情報処理装置、情報処理システムおよび情報処理方法
WO2022156673A1 (zh) 显示控制方法、装置、电子设备及介质
JP6243112B2 (ja) 情報処理装置、情報処理方法、および記録媒体
CN109766530B (zh) 图表边框的生成方法、装置、存储介质和电子设备
WO2017043141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180106956A (ko) 네트워크 카메라를 위한 제어 장치, 제어 방법, 및 저장 매체
JP2013214235A (ja) 表示制御装置、表示制御方法、およびプログラム
JP2015049836A (ja) 携帯端末

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R151 Written notification of patent or utility model registration

Ref document number: 5935529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250