JP2017054251A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2017054251A
JP2017054251A JP2015176795A JP2015176795A JP2017054251A JP 2017054251 A JP2017054251 A JP 2017054251A JP 2015176795 A JP2015176795 A JP 2015176795A JP 2015176795 A JP2015176795 A JP 2015176795A JP 2017054251 A JP2017054251 A JP 2017054251A
Authority
JP
Japan
Prior art keywords
information processing
display area
display
processing apparatus
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015176795A
Other languages
English (en)
Inventor
拓也 池田
Takuya Ikeda
拓也 池田
健太郎 井田
Kentaro Ida
健太郎 井田
陽方 川名
Yosuke Kawana
陽方 川名
脩 繁田
Osamu Shigeta
脩 繁田
誠司 鈴木
Seiji Suzuki
誠司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015176795A priority Critical patent/JP2017054251A/ja
Priority to CN201680050045.7A priority patent/CN107924272B/zh
Priority to PCT/JP2016/067798 priority patent/WO2017043141A1/ja
Priority to DE112016004057.1T priority patent/DE112016004057T5/de
Priority to US15/754,022 priority patent/US10545644B2/en
Publication of JP2017054251A publication Critical patent/JP2017054251A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern

Abstract

【課題】ユーザの操作性の向上を図ることが可能な、情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、操作によるポインティング位置が含まれるか否かの判定をするＳ１０２。操作に基づいて表示領域の位置または形状を変化させる表示制御モード又は、操作に基づいて表示領域内の表示オブジェクトに対応する処理を実行する実行モードを設定するＳ１０４，Ｓ１０８。表示領域は、表示制御モードにおいて表示領域の位置または形状が変化される際の単位を示す。【選択図】図６

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
投影方向を変更することが可能な投影デバイスに関する技術が開発されている。画像の投影中心の位置と回転機構の回転中心の位置とが一致するように、投影デバイスと回転機構との配置関係を調整する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
国際公開第２００６／０７７６６５号
例えば、壁や天井などの空間内の様々な位置に、様々な表示オブジェクト（例えば、ＵＩ（User Interface）に係る表示オブジェクトや、画像（動画像または静止画像）などのコンテンツに係る表示オブジェクトなど）が含まれうる表示領域が、表示されるケースを想定する。上記ケースでは、“ユーザが、表示領域が表示される位置を指定する操作と、表示領域内の表示オブジェクトに対する操作との２つの操作を行うこと”が、考えられる。
ここで、例えば、表示領域が表示される位置を指定する操作を行うための操作系と、表示領域内の表示オブジェクトに対する操作を行うための操作系との異なる２つの操作系を利用することによって、ユーザは、表示領域が表示される位置を指定する操作と、表示領域内の表示オブジェクトに対する操作との２つの操作をそれぞれ行うことが、可能である。しかしながら、上記のようにユーザが異なる２つの操作系を利用する場合には、異なる操作系を利用することに起因してユーザの操作が煩雑となり、ユーザの操作性を損ねる恐れがある。
本開示では、ユーザの操作性の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、上記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、上記操作に基づいて上記表示領域の位置または形状を変化させる表示制御モードと、上記操作に基づいて上記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える処理部を備え、上記表示領域は、上記表示制御モードにおいて上記表示領域の位置または形状が変化される際の単位を示す、情報処理装置が提供される。
また、本開示によれば、１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、上記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、上記操作に基づいて上記表示領域の位置または形状を変化させる表示制御モードと、上記操作に基づいて上記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える処理を行うステップを有し、上記表示領域は、上記表示制御モードにおいて上記表示領域の位置または形状が変化される際の単位を示す、情報処理装置により実行される情報処理方法が提供される。
また、本開示によれば、１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、上記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、上記操作に基づいて上記表示領域の位置または形状を変化させる表示制御モードと、上記操作に基づいて上記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える処理を行う機能をコンピュータに実現させ、上記表示領域は、上記表示制御モードにおいて上記表示領域の位置または形状が変化される際の単位を示す、プログラムが提供される。
本開示によれば、ユーザの操作性の向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
［１］本実施形態に係る操作環境に係るシステムの一例
本実施形態に係る情報処理方法について説明する前に、本実施形態に係る操作環境に係るシステムの一例を示す。
図１は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、本実施形態に係る操作環境に係るシステムの一例を示している。図１は、ユーザがポインティングデバイスを用いたポインティング操作を行うことによって、壁などに投影された表示領域ＡＲ１が表示される位置を指定する操作と、表示領域ＡＲ１内の表示オブジェクトに対する操作との２つの操作が行われる例を示している。
図１に示すシステムは、例えば、投影デバイス１０と、赤外線カメラ１２と、駆動デバイス１４と、赤外線魚眼カメラ１６と、ポインティングデバイス１８とを有する。また、図１では示していないが、図１に示すシステムは、本実施形態に係る情報処理装置を有する。
投影デバイス１０としては、例えばプロジェクタが挙げられる。以下では、投影デバイスを「プロジェクタ」と示す場合がある。
赤外線カメラ１２は、赤外光を観測する撮像デバイスであり、投影デバイス１０の投影方向、すなわち、空間において表示領域ＡＲ１が表示される方向の赤外光を観測する。
また、赤外線カメラ１２は、例えば２つの赤外線カメラを有し、デプスセンサの役目を果たす。赤外線カメラ１２から取得された撮像画像（赤外線カメラ１２の観測結果を示す情報の一例）から得られるデプス情報は、例えば、投影デバイス１０から投影される画像の補正（例えば幾何補正など）などに用いられる。
駆動デバイス１４は、回転機構を有し、投影デバイス１０の投影方向および赤外線カメラ１２の観測方向を変える。駆動デバイス１４は、回転機構によって、例えば、パン方向、チルト方向、およびロール方向の１または２以上を変える。また、駆動デバイス１４は、モータおよび車輪などの移動機構をさらに有していてもよい。
図１に示すシステムでは、駆動デバイス１４により投影デバイス１０の投影方向が任意の方向に変わることによって、空間内の任意の位置に表示領域ＡＲ１を表示させることが可能である。
赤外線魚眼カメラ１６は、赤外光を観測する魚眼カメラである。
ポインティングデバイス１８は、ユーザが操作に用いる操作デバイスの一例である。ポインティングデバイス１８は、ポインティング専用のデバイスであってもよいし、スマートフォンやリモート・コントローラなどの他の用途にも利用可能な汎用のデバイスであってもよい。
ポインティングデバイス１８は、例えば、赤外光を照射し、赤外光によってユーザの操作に応じた位置を指し示す。また、ポインティングデバイス１８は、複数のボタンや、タッチパネルなどの操作デバイスをさらに有していてもよい。
以下では、ポインティングデバイス１８が、ボタンＡとボタンＢとの２つのボタンを有する場合を例に挙げる。また、以下では、ユーザがボタンＡを押下することによって、ポインティングデバイス１８から赤外光が照射されて赤外光によるポインティングが行われるものとする。また、ユーザがボタンＢを押下することによって、ポインティング位置に存在する表示領域内の表示オブジェクトが選択される、または、当該表示オブジェクトに対応する処理が実行されるものとする。
本実施形態に係る情報処理装置は、例えば、赤外線カメラ１２の観測結果を示す情報と、赤外線魚眼カメラ１６の観測結果を示す情報とを用いて、本実施形態に情報処理方法に係る処理を行う。また、本実施形態に係る情報処理装置は、例えば、ポインティングデバイス１８のボタンの操作に応じた操作信号に基づいて、本実施形態に情報処理方法に係る処理を行うことも可能である。
本実施形態に係る操作環境に係るシステムは、例えば図１に示すような構成を有する。
図１に示すシステムでは、例えば、駆動デバイス１４により投影デバイス１０の投影方向が任意の方向に変わることによって、空間内の任意の位置に表示領域ＡＲ１が表示される。また、図１に示すシステムでは、例えば、ポインティングデバイス１８から照射される赤外光が、表示領域ＡＲ１が表示される方向の赤外光を観測する赤外線カメラ１２や、赤外線魚眼カメラ１６によって観測されることによって、ポインティングデバイス１８を用いたユーザの操作によるポインティング位置Ｐが得られる。
なお、本実施形態に係る操作環境に係るシステムは、図１に示す構成に限られない。
例えば、図１に示す赤外線魚眼カメラ１６は、広角に赤外線を観測することが可能なデバイスに置き換えることが可能である。
また、図１に示すシステムでは、ポインティングデバイス１８から照射される赤外光を観測することによりポインティング位置Ｐを得る場合の構成の一例を示したが、本実施形態に係る操作環境に係るシステムの構成は、上記に限られない。
例えば、本実施形態に係る操作環境に係るシステムは、ユーザが指を指した位置や、ユーザの視線が向いている位置を、ポインティング位置Ｐとして得る構成であってもよい。
撮像画像を利用したジェスチャ検出技術などの、任意のジェスチャ検出技術を利用することによって、ユーザが指を指した位置をポインティング位置Ｐとして得ることが可能である。また、例えば、“瞳孔角膜反射法”などの“角膜反射法”や、“強膜反射法”、“顔を検出した後に、目・鼻・口などから得られる特徴点を追っていくＡＡＭ（Active Appearance Model）”などを利用した、任意の視線検出技術を利用することによって、ユーザが指を指した位置をポインティング位置Ｐとして得ることが可能である。
また、本実施形態に係る操作環境に係るシステムは、例えば、可視光のＬＥＤ（Light Emitting Diode）やレーザを観測することによりポインティング位置Ｐを得る構成であってもよい。可視光のＬＥＤやレーザを観測することによりポインティング位置Ｐを得る構成である場合、本実施形態に係る操作環境に係るシステムには、赤外線カメラ１２と赤外線魚眼カメラ１６との代わりに、可視光を観測することが可能な撮像デバイスが設けられる。
また、図１に示すシステムでは、投影デバイス１０の投影により表示領域が表示される例を示しているが、本実施形態に係る操作環境に係るシステムは、壁や天井など空間内に配置されている表示デバイスの表示画面に、表示領域が表示される構成であってもよい。空間内に配置されている表示デバイスの表示画面に表示領域が表示される構成である場合、本実施形態に係る操作環境に係るシステムでは、図１に示す駆動デバイス１４や、デプスセンサを設ける必要はない。
また、本実施形態に係る操作環境に係るシステムは、複数台の投影デバイスにより空間内の全方向に投影することが可能な構成であってもよい。複数台の投影デバイスで空間内の全方向に投影することが可能な構成である場合、本実施形態に係る操作環境に係るシステムでは、図１に示す駆動デバイス１４を設ける必要はない。
また、図１に示すシステムでは、赤外線カメラ１２がデプスセンサの役目を果たす例を挙げたが、本実施形態に係る操作環境に係るシステムは、ステレオデプスカメラを用いる方式や、ＴＯＦ（Time Of Flight）方式、赤外線レーザ・パターンを投影する方式など、奥行を得ることが可能な任意の方式に係るデバイスが設けられることによって、デプス情報を得ることが可能である。
また、図１に示すシステムでは、赤外線魚眼カメラ１６を利用して、ポインティングデバイス１８から照射される赤外光によるポインティングを検出する構成を例に挙げたが、本実施形態に係る操作環境に係るシステムでは、赤外線魚眼カメラ１６が設けられていなくてもよい。赤外線魚眼カメラ１６が設けられない構成である場合、本実施形態に係る操作環境に係るシステムでは、例えば、ポインティングデバイス１８に備えられる、加速度センサやジャイロセンサなどのポインティングデバイス１８の姿勢や動きを検出することが可能なセンサによって、空間におけるポインティング位置が推定される。
図２は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、ポインティングデバイス１８に備えられるセンサによって、空間におけるポインティング位置が推定される例を示している。
ポインティングデバイス１８に備えられるセンサによって、空間におけるポインティング位置が推定される場合には、本実施形態に係る情報処理装置は、例えば、赤外線カメラ１２から取得された撮像画像（赤外線カメラ１２の観測結果を示す情報の一例）に基づきポインティング位置が判定領域（後述する）内で検出されたときに、ポインティングデバイス１８における赤外線の照射方向を、基準方向として保持する。
赤外線カメラ１２から取得された撮像画像からポインティング位置が検出されなくなった場合には、基準方向からポインティングデバイス１８における赤外線の照射方向への相対的な変化によって、空間におけるポインティング位置が推定される。例えば、図２に示す時刻ｔ２における赤外線の照射方向が基準方向が保持されている場合には、当該基準方向から図２に示す時刻ｔ３における赤外線の照射方向への相対的な変化によって、時刻ｔ３におけるポインティング位置が推定される。
また、本実施形態に係る操作環境に係るシステムは、“赤外線カメラ１２が設けられず、赤外線魚眼カメラ１６を利用して、ポインティングデバイス１８から照射される赤外光によるポインティングを検出する構成”をとることも可能である。
また、本実施形態に係る操作環境に係るシステムは、“ポインティングデバイス１８から２種類の波長の光が照射され、光の波長によって、表示領域が表示される位置などを変更させる操作と、表示領域内の表示オブジェクトに対応する処理を実行させる操作とが区別される構成”であってもよい。例えば、波長ａの赤外光と波長ｂ（ａ≠ｂ）の赤外光とが、ポインティングデバイス１８から照射される場合、本実施形態に係る操作環境に係るシステムでは、赤外線カメラ１２が波長ａの赤外光を観測し、赤外線魚眼カメラ１６が波長ｂの赤外光を観測する構成をとることによって、光の波長により操作を区別することが実現される。なお、赤外光を、可視光などの他の波長の光に置き換えても、同様に、光の波長により操作を区別することを実現することが可能である。
また、図１に示すシステムでは、１人のユーザがポインティングデバイス１８を用いた操作を行う例を示しているが、本実施形態に係る操作環境に係るシステムは、複数人のユーザそれぞれが、ポインティングデバイス１８を用いた操作を行うことも可能である。
本実施形態に係る操作環境に係るシステムを複数人のユーザが利用する場合、本実施形態に係る情報処理装置は、各ユーザのポインティングデバイス１８を用いた操作に基づいて、後述する本実施形態に係る情報処理方法に係る処理を行う。
なお、本実施形態に係る操作環境に係るシステムを複数人のユーザが利用する場合、本実施形態に係る情報処理装置は、ユーザそれぞれが任意の認証技術により認証された認証結果に基づいて、認証されたユーザに対応する権限の範囲内で処理を行うことも可能である。認証に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置が行ってもよい。
以下では、図１に示すシステムを例に挙げて、本実施に係る情報処理方法に係る処理について説明する。
［２］本実施形態に係る情報処理方法に係る処理
上述したように、表示領域が表示される位置を指定する操作を行うための操作系と、表示領域内の表示オブジェクトに対する操作を行うための操作系との異なる２つの操作系を利用することによって、ユーザは、表示領域が表示される位置を指定する操作と、表示領域内の表示オブジェクトに対する操作との２つの操作をそれぞれ行うことが、可能である。しかしながら、上記のようにユーザが異なる２つの操作系を利用する場合には、異なる操作系を利用することに起因してユーザの操作が煩雑となり、ユーザの操作性を損ねる恐れがある。
そこで、本実施形態に係る情報処理装置は、例えば、１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、当該操作によるポインティング位置が含まれるか否かの判定結果に基づいて、表示制御モードと実行モードとを切り替える処理（本実施形態では、表示制御モードと実行モードとを切り替える切替処理のことを「選択処理」とも称する）を行う。選択処理を行うことによって、本実施形態に係る情報処理装置は、例えば、１つの操作系の操作に基づいて、当該操作に基づく表示領域の表示の制御と、当該操作に基づく表示領域内の表示オブジェクトに対応する処理の実行とを可能とさせる。
ここで、本実施形態に係る表示制御モードとは、１つの操作系の操作に基づいて表示領域の表示を制御するための処理モードである。本実施形態に係る表示制御モードにより処理が行われる場合には、例えば、１つの操作系の操作に基づいて表示領域の表示位置の変更が実現される。また、本実施形態に係る表示制御モードにより処理が行われる場合、例えば、表示領域の大きさの変更、回転、アスペクト比の変更等の形状の変更が行われてもよい。ここで、表示領域とは、表示装置が一度に映像を表示可能な限界の領域である表示可能領域（表示装置がプロジェクタの場合は投映可能領域）で有ってもよいし、表示可能領域内に設定され、ユーザの操作に応じて移動変形等される際の影響が及ぶ範囲（単位）として設定され、視覚的に境界が示される領域であってもよいし、所定のタスクやアプリケーションプログラムアプリケーションがデータを扱うためのグラフィカルインタフェースにおけるひとつの単位（いわゆるウィンドウ）で有ってもよい。
また、本実施形態に係る実行モードとは、１つの操作系の操作に基づいて表示領域内の表示オブジェクトに対応する処理を実行するための処理モードである。本実施形態に係る実行モードにより処理が行われる場合には、例えば、１つの操作系の操作によって、表示領域内のＵＩに係る処理や、画像の再生に係る処理、アプリケーションの実行に係る処理など、表示領域に対応付けられている様々な処理が実現される。なお、モードは表示制御モードと実行モードの他に存在していてもよい。
選択処理により選択された表示制御モードに応じた処理、または、選択処理により選択された実行モードに応じた処理は、例えば、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。以下では、選択処理により選択された表示制御モードに応じた処理、または、選択処理により選択された実行モードに応じた処理を、総称して「選択されたモードに応じた処理」と示す場合がある。また、以下では、選択されたモードに応じた処理を、本実施形態に係る情報処理装置が行う場合を主に例に挙げる。
また、本実施形態に係る判定領域とは、表示制御モードまたは実行モードを選択するための判定の基準となる、表示領域に対応する領域である。
本実施形態に係る判定領域としては、例えば、表示領域と同一の領域が挙げられる。
また、本実施形態に係る判定領域は、表示領域よりも大きく、表示領域を含む領域であってもよい。
図３は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、本実施形態に係る判定領域の一例を示している。
例えば図３に示すように、表示領域を含み、かつ表示領域よりも大きい領域が、本実施形態に係る判定領域として設定されている場合には、ポインティング位置が表示領域の端辺りで頻繁に変化するときにおいても、表示制御モードの設定と実行モードの設定とが頻繁に行われることを抑制することが、可能となる。
具体的には、本実施形態に係る情報処理装置は、１つの操作系の操作によるポインティング位置と、判定領域との位置関係に基づいて、表示制御モードまたは実行モードを選択する。
本実施形態に係る情報処理装置は、ポインティング位置が判定領域内に含まれる場合に、実行モードを選択する。また、本実施形態に係る情報処理装置は、ポインティング位置が判定領域外である場合に、表示制御モードを選択する。
図４、図５は、本実施形態に係る情報処理方法の一例を説明するための説明図である。図４は、赤外線カメラ１２から取得された撮像画像の一例を示しており、図５は、赤外線魚眼カメラ１６から取得された撮像画像の一例を示している。図４に示す“ＡＲ２”は、判定領域の一例を示している。
本実施形態に係る情報処理装置は、例えば、“赤外線カメラ１２から取得された撮像画像（赤外線カメラ１２の観測結果を示す情報の一例）”、または、“赤外線カメラ１２から取得された撮像画像および赤外線魚眼カメラ１６から取得された撮像画像（赤外線魚眼カメラ１６の観測結果を示す情報）”に基づいて、ポインティング位置と、判定領域との位置関係を特定する。
本実施形態に係る情報処理装置は、例えば、赤外線カメラ１２から取得された撮像画像に基づいて、図４のＰ１に示すようにポインティング位置が判定領域ＡＲ２内にあることが検出された場合に、実行モードを選択する。
また、本実施形態に係る情報処理装置は、例えば、赤外線カメラ１２から取得された撮像画像に基づいて、図４のＰ２に示すようにポインティング位置が判定領域ＡＲ２外にあることが検出された場合に、表示制御モードを選択する。
ここで、ポインティング位置が判定領域ＡＲ２外にある場合、赤外線カメラ１２では、ポインティングデバイス１８から照射された赤外光が観測されない、すなわち、赤外線カメラ１２から取得された撮像画像からポインティング位置が特定されないことが起こりうる。上記のように、赤外線カメラ１２から取得された撮像画像からポインティング位置が特定されない場合であっても、本実施形態に係る情報処理装置は、例えば、図５のＰに示すように、赤外線魚眼カメラ１６から取得された撮像画像に基づいて、空間内におけるポインティング位置を特定することが可能である。
よって、本実施形態に係る情報処理装置は、例えば、赤外線カメラ１２から取得された撮像画像からポインティング位置が特定されず、かつ、赤外線魚眼カメラ１６から取得された撮像画像からポインティング位置が特定された場合に、表示制御モードを選択することも可能である。
なお、本実施形態に係る情報処理装置は、ポインティングデバイス１８から取得された操作信号に基づいて、選択処理を選択的に行ってもよい。
本実施形態に係る情報処理装置は、例えば、ポインティングデバイス１８からボタンＡが押下されていることを示す操作信号（赤外光の照射がされていることを示す操作信号の一例）が取得されたことをトリガとして、選択処理を行う。また、本実施形態に係る情報処理装置は、例えば、ポインティングデバイス１８からボタンＡが押下されていないことを示す操作信号（赤外光の照射がされていないことを示す操作信号の一例）が取得されたトリガとして、選択処理を行わない。なお、選択処理を選択的に行う場合の処理の例が上記に示す例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理として、上記選択処理を行うことによって、例えばポインティングデバイス１８を用いたポインティングに係る操作（１つの操作系の操作の一例）に基づいて、表示制御モードまたは実行モードが選択される。
よって、ユーザは、例えばポインティングデバイス１８を用いてポインティングなどを行えば、表示領域が表示される位置などを変更させることができ、または、表示領域内の表示オブジェクトに対応する処理を実行させることができる。したがって、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理として、上記選択処理を行うことによって、ユーザの操作性の向上を図ることができる。
図６は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。図６に示すステップＳ１００〜Ｓ１０４、Ｓ１０８が、選択処理の一例に該当する。また、図６に示すステップＳ１０６、Ｓ１１０の処理が、選択されたモードに応じた処理の一例に該当する。
本実施形態に係る情報処理装置は、ポインティングが検出されたか否かを判定する（Ｓ１００）。本実施形態に係る情報処理装置は、例えば、“赤外線カメラ１２から取得された撮像画像”、または、“赤外線カメラ１２から取得された撮像画像および赤外線魚眼カメラ１６から取得された撮像画像”に基づいて、ポインティング位置が検出された場合に、ポインティングが検出されたと判定する。また、本実施形態に係る情報処理装置は、例えば、ポインティングデバイス１８から取得された操作信号に基づいて、ポインティングが検出されたか否かを判定することも可能である。
ステップＳ１００においてポインティングが検出されたと判定されない場合には、本実施形態に係る情報処理装置は、ポインティングが検出されたと判定されるまで処理を進めない。
また、ステップＳ１００においてポインティングが検出されたと判定された場合には、本実施形態に係る情報処理装置は、ポインティング位置が判定領域外であるか否かを判定する（Ｓ１０２）。本実施形態に係る情報処理装置は、例えば上述したように、
“赤外線カメラ１２から取得された撮像画像”、または、“赤外線カメラ１２から取得された撮像画像および赤外線魚眼カメラ１６から取得された撮像画像”に基づいて、ポインティング位置が判定領域外であるか否かを判定する。
ステップＳ１０２においてポインティング位置が判定領域外であると判定された場合には、本実施形態に係る情報処理装置は、表示制御モードを設定する（Ｓ１０４）。
そして、本実施形態に係る情報処理装置は、ステップＳ１０４において設定された表示制御モードに応じた処理として、表示領域の表示を変更する（Ｓ１０６）。
本実施形態に係る情報処理装置は、例えば、ポインティング位置に対応する位置に、表示領域を表示させることによって、表示領域の表示を変更する。
本実施形態に係る情報処理装置は、例えば、ポインティング位置が表示領域の所定の位置となるように駆動デバイス１４の駆動方向を求め、駆動デバイス１４に対して制御命令を含む信号を送信することによって、駆動デバイス１４を駆動させる。本実施形態に係る情報処理装置は、例えば、通信部（後述する）、または、接続されている通信デバイスを介して、制御命令を含む信号を駆動デバイス１４に送信する。
ここで、表示領域の所定の位置としては、例えば、表示領域の中心位置など、設定されている任意の位置が挙げられる。
また、本実施形態に係る情報処理装置は、例えば、赤外線カメラ１２から取得された撮像画像から得られるデプス情報に基づいて空間に投影する画像を補正し、補正された画像と制御命令とを含む信号を、投影デバイス１０に対して送信することによって、画像を投影デバイス１０に投影させる。本実施形態に係る情報処理装置は、例えば、通信部（後述する）、または、接続されている通信デバイスを介して、制御命令を含む信号を、投影デバイス１０に送信する。
本実施形態に係る情報処理装置が、例えば上記のように駆動デバイス１４と投影デバイス１０とを制御することによって、表示領域の表示は変更される。
なお、表示領域の表示は変更の例は、上記に示す例に限られない。
例えば、本実施形態に係る情報処理装置は、ポインティング位置に対応する位置に表示領域を表示させることができない場合には、表示領域を表示させることが可能な位置に表示領域を表示させることも可能である。ポインティング位置に対応する位置に表示領域を表示させることができない場合としては、例えば、ポインティング位置に対応する位置に表示領域を表示させると表示領域が非平面に表示される場合や、ポインティング位置に対応する位置に表示領域を表示させると表示領域の一部に凹凸が含まれる場合（ポインティング位置に対応する位置に表示領域を表示させると、表示領域が複数の平面に跨る場合）などが、挙げられる。
本実施形態に係る情報処理装置は、例えば、表示領域を移動させることと、表示領域を縮小させることとの一方または双方によって、表示領域を表示させることが可能な位置に表示領域を表示させる。
図７は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、表示領域を表示させることが可能な位置に表示領域が表示される例を示している。
例えば図７のＡに示すように、ポインティング位置に対応する位置に表示領域を表示させると、表示領域の一部に凹凸が含まれる場合には、本実施形態に係る情報処理装置は、凹凸を除く平面領域から、最大となる矩形領域を探索する。本実施形態に係る情報処理装置は、例えば、デプス情報を利用して上記矩形領域を探索する。
そして、本実施形態に係る情報処理装置は、例えば図７のＢに示すように、探索された矩形領域に、表示領域を表示させる。
再度図６を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。ステップＳ１０２においてポインティング位置が判定領域外であると判定されない場合には、本実施形態に係る情報処理装置は、実行モードを設定する（Ｓ１０８）。
そして、本実施形態に係る情報処理装置は、ステップＳ１０４において設定された実行モードに応じた処理として、表示領域に含まれる表示オブジェクトに対応する処理を行う（Ｓ１１０）。
図８は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、ポインティング位置が判定領域内にある場合における表示領域の表示の一例を示している。図８では、アイコンＡ、アイコンＢ、およびアイコンＣという３つのアイコン（表示オブジェクトの一例）が表示領域に表示されている例を示している。
ポインティング位置が判定領域内にある場合、本実施形態に係る情報処理装置は、図８に示すようにポインティング位置にカーソルを表示させる。
また、本実施形態に係る情報処理装置は、例えば、ポインティングデバイス１８から取得された操作信号に基づいて、カーソルの位置（すなわちポインティング位置）に対応するアイコンに対応付けられている処理を行う。例えば、カーソルが図８に示す位置であるときに、ユーザがポインティングデバイス１８のボタンＢを押下した場合には、本実施形態に係る情報処理装置は、ポインティングデバイス１８から取得された操作信号に基づいて、アイコンＡに対応付けられている処理を行う。本実施形態に係る情報処理装置は、例えば、アイコンと、アプリケーションの実行などの処理を示すデータとが対応付けられているテーブル（または、データベース）などを参照して、アイコンＡに対応付けられている処理を特定し、特定された処理を行う。
なお、ステップＳ１１０の処理の例が、図８を参照して説明した例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図６に示す処理を行う。
ここで、例えば図６に示す処理が行われることによって、ユーザは、例えば、ポインティングデバイス１８を用いてポインティングなどを行えば、表示領域が表示される位置などを変更させることができ、または、表示領域内の表示オブジェクトに対応する処理を実行させることができる。したがって、本実施形態に係る情報処理方法に係る処理として、例えば図６に示す処理が行われることによって、ユーザの操作性の向上を図ることができる。
なお、本実施形態に係る情報処理方法に係る処理が、図６に示す処理に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、“上記選択処理”、または“上記選択処理、および上記選択されたモードに応じた処理”を行う。
なお、本実施形態に係る情報処理方法に係る処理は、“上記選択処理”、または“上記選択処理、および上記選択されたモードに応じた処理”に限られない。
例えば、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、下記の（Ｉ）の処理〜（ＩＩＩ）の処理の１または２以上を、さらに行うことも可能である。
（Ｉ）判定領域外におけるポインティング位置に対応するコンテンツを、表示領域に表示させる場合の処理
選択処理が行われていない場合において、ポインティング位置が判定領域外から判定領域内に変化したとき、本実施形態に係る情報処理装置は、判定領域外におけるポインティング位置に対応するコンテンツを、表示領域に表示させる。
ここで、選択処理が行われていない場合としては、例えば、選択処理を行うトリガが検出されていない場合や、判定領域外におけるポインティング位置に対応するコンテンツを表示領域に表示させるための操作に対応する操作信号が検出された場合などが、挙げられる。
判定領域外におけるポインティング位置に対応するコンテンツを表示領域に表示させるための操作としては、例えば、“判定領域外をポインティングしている状態で、ポインティングデバイス１８のボタンを押下し、ボタンを押下したままポインティング位置を表示領域内（または判定領域内）に移動させる操作”が挙げられる。また、判定領域外におけるポインティング位置に対応するコンテンツを表示領域に表示させるための操作には、さらに、ポインティング位置を表示領域内（または判定領域内）に移動させた後に、ボタンを離す操作が含まれていてもよい。以下では、上記ボタンを離す操作がさらに含まれる“判定領域外におけるポインティング位置に対応するコンテンツを表示領域に表示させるための操作”を、「ドラッグアンドドロップ操作」と示す場合がある。
図９は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、判定領域外におけるポインティング位置に対応するコンテンツが表示領域に表示される場合の一例を示している。
例えば図９に示すように、ユーザが、“室内（空間の一例）のクローゼットをポインティングしている状態で、ポインティングデバイス１８のボタンを押下し、ボタンを押下したままポインティング位置を表示領域内に移動させる操作”を行うと、本実施形態に係る情報処理装置は、クローゼットに関連するコンテンツを、表示領域に表示させる。図９では、クローゼットに関連するコンテンツとして、ファッションに関する情報が、表示領域に表示されている例を示している。
他の例を示すと、ユーザが、“室内（空間の一例）の窓をポインティングしている状態で、ポインティングデバイス１８のボタンを押下し、ボタンを押下したままポインティング位置を表示領域内に移動させる操作”を行うと、本実施形態に係る情報処理装置は、窓に関連するコンテンツを、表示領域に表示させる。窓に関連するコンテンツとしては、例えば、天気予報などの天気に関する情報が、表示領域に表示される。
本実施形態に係る情報処理装置は、例えば、空間内のどの位置にどのようなオブジェクトがあるかを示すデータを利用して、ポインティングされているオブジェクトを特定する。空間内のどの位置にどのようなオブジェクトがあるかを示すデータは、例えば、空間に設けられている撮像デバイスから得られる撮像画像を利用して３次元環境を作成するＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる技術などを用いて得られる３次元情報と、撮像画像を利用したオブジェクト検出技術などの任意のオブジェクト検出技術を用いて得られるオブジェクトの検出結果とから得ることが可能である。なお、空間内のどの位置にどのようなオブジェクトがあるかを示すデータは、任意の技術を利用して生成されたデータであってもよい。
図１０は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、判定領域外におけるポインティング位置に対応するコンテンツを表示領域に表示させる場合の処理の一例を示している。
本実施形態に係る情報処理装置は、表示領域の表示位置を固定するか否かを判定する（Ｓ２００）。本実施形態に係る情報処理装置は、例えば、選択処理が行われていないと判定された場合に、表示領域の表示位置を固定すると判定する。
ステップＳ２００において表示領域の表示位置を固定すると判定されない場合、本実施形態に係る情報処理装置は、図１０に示す処理を終了する。表示領域の表示位置を固定すると判定されない場合には、例えば図６に示す処理が行われる。
また、ステップＳ２００において表示領域の表示位置を固定すると判定された場合には、本実施形態に係る情報処理装置は、判定領域外がポインティングされているか否かを判定する（Ｓ２０２）。本実施形態に係る情報処理装置は、ポインティング位置が判定領域外である場合に、判定領域外がポインティングされていると判定する。
ステップＳ２０２において判定領域外がポインティングされていると判定されない場合、本実施形態に係る情報処理装置は、例えば、ステップＳ２００からの処理を繰り返す。
また、ステップＳ２０２において判定領域外がポインティングされていると判定された場合には、本実施形態に係る情報処理装置は、例えば、表示領域内へのドラッグアンドドロップ操作が行われたか否かを判定する（Ｓ２０４）。
ステップＳ２０４において表示領域内へのドラッグアンドドロップ操作が行われたと判定されない場合、本実施形態に係る情報処理装置は、例えば、ステップＳ２０２からの処理を繰り返す。
また、ステップＳ２０４において表示領域内へのドラッグアンドドロップ操作が行われたと判定された場合には、本実施形態に係る情報処理装置は、例えば、ポインティングされたオブジェクトに関連したコンテンツを、表示領域に表示させる（Ｓ２０６）。また、表示領域に対する操作が検出された場合には、本実施形態に係る情報処理装置は、表示領域に表示されたコンテンツに対応する処理を行う（Ｓ２０８）。
本実施形態に係る情報処理装置は、判定領域外におけるポインティング位置に対応するコンテンツを表示領域に表示させる処理として、例えば図１０に示す処理を行う。なお、判定領域外におけるポインティング位置に対応するコンテンツを表示領域に表示させる処理の例が、図１０に示す例に限られないことは、言うまでもない。
（ＩＩ）表示領域が複数存在する場合の処理
例えば、空間内に複数のプロジェクタ（画像投影デバイスの一例）が存在する場合や、空間内に複数の表示デバイスが設けられている場合、空間内に設けられている表示デバイスの表示画面に複数の表示領域を表示することが可能な場合などには、空間内に複数の表示領域が存在する場合が、想定される。
上記のように、複数の表示領域が存在する場合、本実施形態に係る情報処理装置は、複数の表示領域のうちの選択された表示領域を対象として、選択処理を行う。また、複数の表示領域が存在する場合、本実施形態に係る情報処理装置は、複数の表示領域のうちの選択された表示領域を対象として、上記（Ｉ）の処理を行うことも可能である。
ここで、本実施形態に係る情報処理装置は、例えば、ユーザ操作に基づいて、表示領域を選択する。表示領域の選択に係るユーザ操作としては、プロジェクタ、表示デバイス、あるいは表示領域を指定する操作が挙げられる。プロジェクタ、表示デバイス、あるいは表示領域の指定は、例えば下記に示すようなことにより実現される。なお、プロジェクタ、表示デバイス、あるいは表示領域の指定を実現するための例が、下記に示す例に限られないことは、言うまでもない。
・ポインティングデバイス１８から照射される光の波長を、プロジェクタ、表示デバイス、あるいは表示領域ごとに設定し、ポインティングデバイス１８から照射される光の波長によって、プロジェクタなどが指定される。
・プロジェクタ、表示デバイス、あるいは表示領域ごとにＩＤを設定し、ポインティングデバイス１８や他の装置から送信されるＩＤによって、プロジェクタなどが指定される。
・プロジェクタ、表示デバイス、あるいは表示領域ごとにユニークな名前を設定し、任意の音声認識技術を利用して認識されるユーザの音声によって、プロジェクタなどが指定される。
また、本実施形態に係る情報処理装置は、上記表示領域の選択に係るユーザ操作によらずに、自動的に表示領域を選択してもよい。なお、自動的に表示領域を選択することが可能な場合であっても、上記表示領域の選択に係るユーザ操作が検出された場合には、本実施形態に係る情報処理装置は、当該ユーザ操作に基づいて、表示領域を選択することが可能である。
本実施形態に係る情報処理装置は、例えば、複数の表示領域のうち、最初にポインティング位置が判定領域内に含まれた表示領域を選択する。
また、複数の表示領域それぞれに対して担当領域が割り当てられている場合には、本実施形態に係る情報処理装置は、例えば、ポインティング位置を含む担当領域が割り当てられている表示領域を選択してもよい。本実施形態に係る担当領域としては、表示領域を含む表示領域よりも大きな領域であって、他の担当領域と重複しない領域が挙げられる。
また、本実施形態に係る情報処理装置は、例えば、複数の表示領域それぞれに対して設定されている優先度に基づいて表示領域を選択することも可能である。本実施形態に係る情報処理装置は、例えば、設定されている優先度がより高い表示領域を選択する。また、優先度が同一の表示領域が複数存在する場合には、本実施形態に係る情報処理装置は、例えば、複数の表示領域のうち、最初にポインティング位置が判定領域内に含まれた表示領域を選択する。
ここで、複数の表示領域それぞれに対して設定される優先度は、例えば下記のように、設定される。なお、本実施形態に係る優先度の設定方法は、下記に示す例に限られず、本実施形態に係る優先度は、優先度を設定することが可能な任意の方法によって設定されてもよい。
・投影デバイスの位置とポインティングデバイス１８の位置との距離が近い程、より高い優先度を設定する。
・表示領域の位置とポインティングデバイス１８の位置との距離が近い程、より高い優先度を設定する。
・表示領域のサイズ（例えば、表示領域の投影サイズ）が大きい程、より高い優先度を設定する。
・表示領域を投影した際の鮮明度が高い表示領域程、より高い優先度を設定する。
・直近に操作が行われる表示領域に対して、より高い優先度を設定する。
本実施形態に係る優先度の設定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
本実施形態に係る情報処理装置や外部装置は、例えば、距離センサの検出データを利用する方法や、撮像画像を利用する方法など、距離を特定（または推定）することが可能な任意の技術を利用して、一の位置と他の位置との距離を特定する。また、本実施形態に係る情報処理装置や外部装置は、投影デバイス１０の制御パラメータなどを利用する方法などの任意の方法によって、表示領域のサイズや、表示領域を投影した際の鮮明度を特定する。また、本実施形態に係る情報処理装置や外部装置は、例えば、直近に操作が行われる表示領域の識別情報（例えばＩＤなど）を記録媒体などに管理することによって、直近に操作が行われる表示領域を特定する。
図１１は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、表示領域が複数存在する場合における、表示領域の選択方法の一例を示している。
空間内に複数のプロジェクタが存在する場合には、例えば図１１に示すような表示領域の選択方法によって、表示領域が選択される。
ここで、空間内に複数の表示領域が存在するときには、複数の表示領域に重なる領域が含まれる場合が起こりうる。
本実施形態に係る情報処理装置が、上記のように自動的に表示領域を選択する場合には、複数の表示領域に重なる領域が含まれていたとしても、１つの表示領域が選択される。
また、本実施形態に係る情報処理装置が、上記表示領域の選択に係るユーザ操作に基づいて表示領域を選択する場合には、本実施形態に係る情報処理装置は、例えば、表示領域に設定されている表示の前後関係を示す情報に基づいて、１つの表示領域を選択することが可能である。
図１２は、本実施形態に係る情報処理方法の一例を説明するための説明図である。図１２のＡは、複数の表示領域に重なる領域が含まれ、当該重なる領域に対してポインティングが行われた場合を示しており、図１２のＢは、表示の前後関係を示す情報の一例を示している。
図１２のＢに示す表示の前後関係を示す情報では、数字が若い程、プロジェクタが投影した表示領域が前に表示されていることを示している。図１２のＢに示す表示の前後関係を示す情報が示す前後関係を示す数字は、表示領域を選択するための優先度に該当し、本実施形態に係る情報処理装置は、優先度が高い表示領域である前に表示されている表示領域を、選択する。
例えば図１２のＡに示すように、ユーザが、２つの表示領域が重なる領域をポインティングしている場合には、本実施形態に係る情報処理装置は、図１２のＢに示す表示の前後関係を示す情報を参照して、前に表示されている表示領域である、プロジェクタＡから投影された表示領域を選択する。
（ＩＩＩ）通知制御処理
本実施形態に係る情報処理装置は、例えば下記の（Ａ）〜（Ｃ）に示すような通知制御処理を行うことによって、ユーザに対するフィードバックを行うことが可能である。
（Ａ）通知制御処理の第１の例
本実施形態に係る情報処理装置は、選択処理において選択されたモード（表示制御モードまたは実行モード。以下、同様とする。）の通知、すなわち、選択処理における選択結果の通知を、制御する。
本実施形態に係る情報処理装置は、例えば、表示領域の表示を変えることによって、選択処理において選択されたモード（選択処理における選択結果）を、視覚的に通知させる。本実施形態に係る情報処理装置は、例えば、制御命令とを含む信号を、投影デバイス１０や表示デバイスなどに対して送信することによって、選択処理において選択されたモードを視覚的に通知させる。
なお、本実施形態に係る情報処理装置は、スピーカなどの音声出力デバイスから音声（音楽も含む）を出力させることによって、選択処理において選択されたモードを、聴覚的に通知させることも可能である。
図１３は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、第１の例に係る通知制御処理による視覚的なフィードバックの一例を示している。
本実施形態に係る情報処理装置は、例えば下記のような視覚的なフィードバックによって、選択処理において選択されたモードを視覚的に通知させる。なお、視覚的なフィードバックの例が、下記に示す例に限られないことは、言うまでもない。
・表示領域の境界の色を変えることによる通知（図１３のＡ）
・表示領域にぼかし効果を選択的に加えることによる通知（図１３のＢ）
・表示領域全体の色や透過度を変えることによる通知（図１３のＣ）
・表示領域の形状を変えることによる通知（図１３のＤ）
・カーソルの表示位置、形状を変えることによる通知（例えば、実行モードでは、ポインティング位置にカーソルを表示させ、表示制御モードでは、表示領域の移動方向に対応する表示領域の端部分にカーソルを表示させて、カーソルの形状を変える。図１３のＥ）
（Ｂ）通知制御処理の第２の例
本実施形態に係る情報処理装置は、例えば、表示領域が非平面に表示されていることや、表示領域の一部に凹凸が含まれることなど、現在の表示領域が非平面の領域を含んでいることを通知させる。
図１４は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、第２の例に係る通知制御処理による視覚的なフィードバックの一例を示している。図１４のＡは、視覚的なフィードバックを行わない場合の表示領域の表示の一例を示している。また、図１４のＢ〜Ｄは、視覚的なフィードバックを行う場合の表示領域の表示の一例を示している。
本実施形態に係る情報処理装置は、例えば下記のような視覚的なフィードバックによって、現在の表示領域が非平面の領域を含んでいることを、視覚的に通知させる。なお、視覚的なフィードバックの例が、下記に示す例に限られないことは、言うまでもない。
・非平面の領域の色と透過度との一方または双方を変えることによる通知（図１４のＢ）
・非平面の領域をワイヤーメッシュで表示して、画像が非平面によって歪んでいることを示すことによる通知（図１４のＣ）
・表示領域を表示させることが可能な領域（例えば、表示領域を表示させることが可能な平面領域）の方向へ矢印を示して、表示領域の表示位置の変更を促すことによる通知（図１４のＣ）
（Ｃ）通知制御処理の第３の例
本実施形態に係る情報処理装置は、例えば、ポインティング位置を検出することができないことを通知させる。
ここで、ポインティング位置を検出することができない場合としては、例えば、ユーザがポインティングしていることは検出されているが、赤外線魚眼カメラ１６から取得された撮像画像などからポインティング位置を検出することができない場合が、挙げられる。
図１５は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、第３の例に係る通知制御処理による視覚的なフィードバックの一例を示している。図１５のＡは、視覚的なフィードバックを行わない場合の表示領域の表示の一例を示している。また、図１５のＢ、Ｃは、視覚的なフィードバックを行う場合の表示領域の表示の一例を示している。
本実施形態に係る情報処理装置は、例えば下記のような視覚的なフィードバックによって、ポインティング位置を検出することができないことを、視覚的に通知させる。なお、視覚的なフィードバックの例が、下記に示す例に限られないことは、言うまでもない。
・文字や画像などによるアラートを表示する（図１５のＡ）
・表示領域全体、または、表示領域の境界を点滅表示させる（図１５のＢ）
また、本実施形態に係る情報処理装置は、ポインティング位置を検出することができないことを、聴覚的に通知させることも可能である。
［３］本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
本実施形態に係る情報処理方法が用いられることによって、例えば下記の（ａ）〜（ｅ）に示すような効果が奏される。
（ａ）ユーザは、１つの操作系の操作によって、表示領域の表示を動的に変更することができる。
（ｂ）ユーザは、１つの操作系の操作によって、表示領域が表示される位置などを変更させることができ、または、表示領域内の表示オブジェクトに対応する処理を実行させることができる。
（ｃ）ユーザは、１つの操作系の操作によって、シームレスに、表示領域が表示される位置などの変更と、表示領域内の表示オブジェクトに対応する処理の実行とを切り替えることができる。よって、１つの操作系の操作によって、ユーザの状況に対応する操作が実現される。
（ｄ）上記（ｃ）の効果により、例えば“室内でのユーザ位置だけでなく姿勢に応じて、最も適した位置に画像を投影することができ、また画像の中のコンテンツをユーザが最も適した入力手段で操作することができる環境”を提供することができる。
（ｅ）ポインティング位置と判定領域との位置関係に基づいて、表示制御モードまたは実行モードが選択されるので、ユーザは、シームレスに２つのモードを切り替えることができる。よって、ユーザは、より直感的な操作を行うことができる。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、“上記選択処理”、または、“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”を行う。
なお、“上記選択処理”と、“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”を、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記選択処理”と、“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”とのそれぞれを、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。
図１６は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
また、情報処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、表示の前後関係を示す情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
図１７は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、各部の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、表示の前後関係を示す情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。
また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。
なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば、投影デバイス１０、赤外線カメラ１２、駆動デバイス１４、赤外線魚眼カメラ１６、およびポインティングデバイス１８などの、本実施形態に係る操作環境に係るシステムを構成するデバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。
情報処理装置１００は、例えば図１７に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１７に示す構成に限られない。
例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることが可能である。
また、情報処理装置１００が、本実施形態に係る操作環境に係るシステムを構成するデバイスである場合には、情報処理装置１００は、例えば、当該デバイスの機能を実現するための構成を有することが可能である。
また、例えば、図１７に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated Circuit）で実現されてもよい。
再度図１６を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、本実施形態に係る操作環境に係るシステムを構成するデバイスや、サーバなどの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば処理部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部１１０は、本実施形態に係る情報処理方法に係る処理を主導的に行う果たし、上記選択処理を行う。また、処理部１１０は、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理を、さらに行うことも可能である。
制御部１０４は、例えば、処理部１１０を備えることによって、本実施形態に係る情報処理方法に係る処理（例えば、“上記選択処理”、または、“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”）を主導的に行う。
情報処理装置１００は、例えば図１６に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、“上記選択処理”、または、“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”）を行う。
したがって、情報処理装置１００は、例えば図１６に示す構成によって、ユーザの操作性の向上を図ることができる。
また、例えば図１６に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図１６に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図１６に示す処理部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
また、上述したように、“上記選択処理”、および“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１６に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、ＰＣ（Personal Computer）やサーバなどのコンピュータ、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、投影デバイス１０、赤外線カメラ１２、駆動デバイス１４、赤外線魚眼カメラ１６、およびポインティングデバイス１８などの、本実施形態に係る操作環境に係るシステムを構成するデバイスであってもよい。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした情報処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる情報処理システムの一例としては、例えば、“本実施形態に係る選択処理を行う一の装置によって、表示制御モードまたは実行モードが選択され、本実施形態に係る選択されたモードに応じた処理を行う他の装置によって、表示領域が表示される位置などの変更と、表示領域内の表示オブジェクトに対応する処理の実行とが切り替えて行われる、システム”が、挙げられる。
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記選択処理”、または、“上記選択処理と、上記選択されたモードに応じた処理、上記（Ｉ）の処理、上記（ＩＩ）の処理、および上記（ＩＩＩ）の処理のうちの１または２以上の処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの操作性の向上を図ることができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、前記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、前記操作に基づいて前記表示領域の位置または形状を変化させる表示制御モードと、前記操作に基づいて前記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える切替処理を行う処理部を備え、
前記表示領域は、前記表示制御モードにおいて前記表示領域の位置または形状が変化される際の単位を示す、情報処理装置。
（２）
前記処理部は、
前記ポインティング位置が前記判定領域内に含まれる場合に、前記実行モードを選択し、
前記ポインティング位置が前記判定領域外である場合に、前記表示制御モードを選択する、（１）に記載の情報処理装置。
（３）
前記判定領域は、前記表示領域よりも大きく、前記表示領域を含む領域である、（１）または（２）に記載の情報処理装置。
（４）
前記判定領域は、前記表示領域と同一の領域である、（１）または（２）に記載の情報処理装置。
（５）
前記表示領域は、前記表示領域を表示する表示装置が一度に映像を表示可能な限界の領域である表示可能領域である、（１）または（２）に記載の情報処理装置。
（６）
前記処理部は、前記切替処理において切り替えられた前記表示制御モードに応じた処理、または、前記切替処理において切り替えられた前記実行モードに応じた処理をさらに行う、（１）〜（５）のいずれか１つに記載の情報処理装置。
（７）
前記表示制御モードが選択された場合、前記処理部は、前記ポインティング位置に対応する位置に、前記表示領域を表示させる、（６）に記載の情報処理装置。
（８）
前記処理部は、前記ポインティング位置に対応する位置に前記表示領域を表示させることができない場合には、前記表示領域を表示させることが可能な位置に前記表示領域を表示させる、（７）に記載の情報処理装置。
（９）
前記切り替えが行われていない場合において、前記ポインティング位置が前記判定領域外から前記判定領域内に変化したとき、前記処理部は、前記判定領域外における前記ポインティング位置に対応するコンテンツを、前記表示領域に表示させる、（１）〜（８）のいずれか１つに記載の情報処理装置。
（１０）
複数の前記表示領域が存在する場合、前記処理部は、複数の前記表示領域のうちの選択された前記表示領域を対象として、前記切り替えを行う、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
前記処理部は、ユーザ操作に基づいて、前記表示領域を選択する、（１０）に記載の情報処理装置。
（１２）
前記処理部は、複数の前記表示領域のうち、最初に前記ポインティング位置が前記判定領域内に含まれた前記表示領域を選択する、（１０）、または（１１）に記載の情報処理装置。
（１３）
前記処理部は、複数の前記表示領域それぞれに対して設定されている優先度に基づいて、前記表示領域を選択する、（１０）、または（１１）に記載の情報処理装置。
（１４）
前記処理部は、前記優先度を設定し、設定された前記優先度に基づいて、前記表示領域を選択する、（１３）に記載の情報処理装置。
（１５）
複数の前記表示領域には、重なる領域が含まれる、（１０）〜（１４）のいずれか１つに記載の情報処理装置。
（１６）
前記処理部は、前記切替処理における切り替え結果の通知を制御する通知制御処理をさらに行う、（１）〜（１５）のいずれか１つに記載の情報処理装置。
（１７）
前記処理部は、前記切替処理における切り替え結果を、視覚的に通知させる、（１６）に記載の情報処理装置。
（１８）
１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、前記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、前記操作に基づいて前記表示領域の位置または形状を変化させる表示制御モードと、前記操作に基づいて前記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える処理を行うステップを有し、
前記表示領域は、前記表示制御モードにおいて前記表示領域の位置または形状が変化される際の単位を示す、情報処理装置により実行される情報処理方法。
（１９）
１つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、前記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、前記操作に基づいて前記表示領域の位置または形状を変化させる表示制御モードと、前記操作に基づいて前記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える処理を行う機能をコンピュータに実現させ、
前記表示領域は、前記表示制御モードにおいて前記表示領域の位置または形状が変化される際の単位を示す、プログラム。
１００ 情報処理装置
１０２ 通信部
１０４ 制御部
１１０ 処理部

Claims (19)

  1. １つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、前記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、前記操作に基づいて前記表示領域の位置または形状を変化させる表示制御モードと、前記操作に基づいて前記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える切替処理を行う処理部を備え、
    前記表示領域は、前記表示制御モードにおいて前記表示領域の位置または形状が変化される際の単位を示す、情報処理装置。
  2. 前記処理部は、
    前記ポインティング位置が前記判定領域内に含まれる場合に、前記実行モードを選択し、
    前記ポインティング位置が前記判定領域外である場合に、前記表示制御モードを選択する、請求項１に記載の情報処理装置。
  3. 前記判定領域は、前記表示領域よりも大きく、前記表示領域を含む領域である、請求項２に記載の情報処理装置。
  4. 前記判定領域は、前記表示領域と同一の領域である、請求項２に記載の情報処理装置。
  5. 前記表示領域は、前記表示領域を表示する表示装置が一度に映像を表示可能な限界の領域である表示可能領域である、請求項２に記載の情報処理装置。
  6. 前記処理部は、前記切替処理において切り替えられた前記表示制御モードに応じた処理、または、前記切替処理において切り替えられた前記実行モードに応じた処理をさらに行う、請求項１に記載の情報処理装置。
  7. 前記表示制御モードが選択された場合、前記処理部は、前記ポインティング位置に対応する位置に、前記表示領域を表示させる、請求項６に記載の情報処理装置。
  8. 前記処理部は、前記ポインティング位置に対応する位置に前記表示領域を表示させることができない場合には、前記表示領域を表示させることが可能な位置に前記表示領域を表示させる、請求項７に記載の情報処理装置。
  9. 前記切替処理が行われていない場合において、前記ポインティング位置が前記判定領域外から前記判定領域内に変化したとき、前記処理部は、前記判定領域外における前記ポインティング位置に対応するコンテンツを、前記表示領域に表示させる、請求項１に記載の情報処理装置。
  10. 複数の前記表示領域が存在する場合、前記処理部は、複数の前記表示領域のうちの選択された前記表示領域を対象として、前記切替処理を行う、請求項１に記載の情報処理装置。
  11. 前記処理部は、ユーザ操作に基づいて、前記表示領域を選択する、請求項１０に記載の情報処理装置。
  12. 前記処理部は、複数の前記表示領域のうち、最初に前記ポインティング位置が前記判定領域内に含まれた前記表示領域を選択する、請求項１０に記載の情報処理装置。
  13. 前記処理部は、複数の前記表示領域それぞれに対して設定されている優先度に基づいて、前記表示領域を選択する、請求項１０に記載の情報処理装置。
  14. 前記処理部は、前記優先度を設定し、設定された前記優先度に基づいて、前記表示領域を選択する、請求項１３に記載の情報処理装置。
  15. 複数の前記表示領域には、重なる領域が含まれる、請求項１０に記載の情報処理装置。
  16. 前記処理部は、前記切替処理における切り替え結果の通知を制御する通知制御処理をさらに行う、請求項１に記載の情報処理装置。
  17. 前記処理部は、前記切替処理における切り替え結果を、視覚的に通知させる、請求項１６に記載の情報処理装置。
  18. １つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、前記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、前記操作に基づいて前記表示領域の位置または形状を変化させる表示制御モードと、前記操作に基づいて前記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える切替処理を行うステップを有し、
    前記表示領域は、前記表示制御モードにおいて前記表示領域の位置または形状が変化される際の単位を示す、情報処理装置により実行される情報処理方法。
  19. １つの操作系の操作の対象となる表示領域に基づき決定される判定領域に、前記操作によるポインティング位置が含まれるか否かの判定結果に基づいて、前記操作に基づいて前記表示領域の位置または形状を変化させる表示制御モードと、前記操作に基づいて前記表示領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替える切替処理を行う機能をコンピュータに実現させ、
    前記表示領域は、前記表示制御モードにおいて前記表示領域の位置または形状が変化される際の単位を示す、プログラム。
JP2015176795A 2015-09-08 2015-09-08 情報処理装置、情報処理方法、およびプログラム Pending JP2017054251A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015176795A JP2017054251A (ja) 2015-09-08 2015-09-08 情報処理装置、情報処理方法、およびプログラム
CN201680050045.7A CN107924272B (zh) 2015-09-08 2016-06-15 信息处理装置、信息处理方法和程序
PCT/JP2016/067798 WO2017043141A1 (ja) 2015-09-08 2016-06-15 情報処理装置、情報処理方法、およびプログラム
DE112016004057.1T DE112016004057T5 (de) 2015-09-08 2016-06-15 Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und programm
US15/754,022 US10545644B2 (en) 2015-09-08 2016-06-15 Information processing apparatus and information processing method for display control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015176795A JP2017054251A (ja) 2015-09-08 2015-09-08 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2017054251A true JP2017054251A (ja) 2017-03-16

Family

ID=58239486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015176795A Pending JP2017054251A (ja) 2015-09-08 2015-09-08 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10545644B2 (ja)
JP (1) JP2017054251A (ja)
CN (1) CN107924272B (ja)
DE (1) DE112016004057T5 (ja)
WO (1) WO2017043141A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11212724A (ja) * 1998-01-21 1999-08-06 Toshiba Corp 画像投影方法ならびにシステム及び同方法がプログラムされ記録される記録媒体
WO2006077665A1 (ja) * 2005-01-20 2006-07-27 National University Corporation NARA Institute of Science and Technology 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体
US8034485B2 (en) * 2008-05-29 2011-10-11 3M Innovative Properties Company Metal oxide negative electrodes for lithium-ion electrochemical cells and batteries
JP2010282408A (ja) * 2009-06-04 2010-12-16 Sony Corp 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
JP5521809B2 (ja) * 2010-06-17 2014-06-18 ソニー株式会社 ポインティングシステム、制御デバイス及び制御方法
JP5880199B2 (ja) * 2012-03-27 2016-03-08 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
US20140129948A1 (en) * 2012-11-08 2014-05-08 Bank Of America Corporation Method and apparatus for simultaneous display of information from multiple portable devices on a single screen
CN104049853A (zh) * 2013-03-11 2014-09-17 联想(北京)有限公司 一种信息处理方法及电子设备
DE102013211904A1 (de) * 2013-06-24 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von Gesten im Strahlbereich eines Projektors
JP2015055913A (ja) * 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9348701B2 (en) * 2013-11-05 2016-05-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for failure recovery in a machine-to-machine network
CN103631483B (zh) * 2013-11-27 2017-02-15 华为技术有限公司 一种定位的方法及装置
CN104866079B (zh) * 2014-02-24 2018-11-09 联想(北京)有限公司 一种信息处理方法及电子设备
CN104155838A (zh) * 2014-08-01 2014-11-19 苏州宝丽共创信息科技有限公司 一种应用于透明玻璃的多角度折射成像的投影组件
CN104407698B (zh) * 2014-11-17 2018-02-27 联想(北京)有限公司 一种投影方法及电子设备
JP5932082B2 (ja) * 2015-03-04 2016-06-08 株式会社東芝 認識装置

Also Published As

Publication number Publication date
US20180275854A1 (en) 2018-09-27
CN107924272B (zh) 2021-09-03
DE112016004057T5 (de) 2018-06-07
US10545644B2 (en) 2020-01-28
CN107924272A (zh) 2018-04-17
WO2017043141A1 (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
US10564833B2 (en) Method and apparatus for controlling devices
US10416786B2 (en) Method of displaying pointing information and device for performing the method
JP5935529B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6398987B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10936141B2 (en) Information processing device and information processing method
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
KR20150085402A (ko) 이동단말기 및 그 제어방법
KR20160087268A (ko) 이동 단말기 및 이의 제어방법
JP2015158748A (ja) 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、ウェアラブル機器
KR20170107987A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램 및 시스템
JP2017521793A (ja) ユーザ入力に基づいて制御システムのためのジェスチャ区域定義データを取得する方法
JP2011054162A (ja) 対話型情報操作システム及びプログラム
US10684707B2 (en) Display control device, display control method, and program
WO2017043141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6075193B2 (ja) 携帯端末装置
JP6977710B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20120091695A (ko) 감시 카메라 제어 방법
US20210294482A1 (en) Information processing device, information processing method, and program
US11221760B2 (en) Information processing apparatus, information processing method, and storage medium
EP3770722B1 (en) Screen display method and device, mobile terminal and storage medium
JP2016192014A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20160044396A (ko) 사용자 인터페이스를 제공하는 방법 및 장치
JP6457170B2 (ja) 携帯電子機器
JP2015049836A (ja) 携帯端末
US20150241957A1 (en) Control apparatus, information processing apparatus, control method, information processing method, information processing system and wearable device