JP2022047549A - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
JP2022047549A
JP2022047549A JP2019007069A JP2019007069A JP2022047549A JP 2022047549 A JP2022047549 A JP 2022047549A JP 2019007069 A JP2019007069 A JP 2019007069A JP 2019007069 A JP2019007069 A JP 2019007069A JP 2022047549 A JP2022047549 A JP 2022047549A
Authority
JP
Japan
Prior art keywords
coordinate system
axis
image
input coordinate
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019007069A
Other languages
English (en)
Inventor
拓也 池田
Takuya Ikeda
健太郎 井田
Kentaro Ida
脩 繁田
Osamu Shigeta
一真 高橋
Kazuma Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2019007069A priority Critical patent/JP2022047549A/ja
Priority to US17/309,985 priority patent/US11550430B2/en
Priority to PCT/JP2019/051426 priority patent/WO2020149148A1/ja
Publication of JP2022047549A publication Critical patent/JP2022047549A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】映像に対するユーザの操作性を向上させる。【解決手段】情報処理装置は、ユーザ操作に基づいて、入力座標系を変更する座標系設定部と、第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う映像制御部とを備える。本技術は、例えば、映像の表示位置の移動が可能な駆動型表示装置を用いて、部屋の壁等に映像を表示するシステムに適用できる。【選択図】図２

Description

本技術は、情報処理装置、情報処理方法、及び、記録媒体に関し、特に、映像に対するユーザの操作性を向上させるようにした情報処理装置、情報処理方法、及び、記録媒体に関する。
従来、壁等に投影されている映像に対してユーザの手を用いて遠隔操作する場合に、ユーザの手の指の向きに基づいて、入力座標系を設定することが提案されている（例えば、特許文献１参照）。
国際公開第２０１７／２０８６２８号
しかしながら、ユーザの手の指の向きに基づいて設定された入力座標系が、常に適切であるとは限らない。例えば、映像内のコンテンツの操作と映像の表示位置を移動させる操作とでユーザが異なる入力座標系を想起する場合、同じ入力座標系を用いることにより、ユーザが混乱するおそれがある。
本技術は、このような状況に鑑みてなされたものであり、映像に対するユーザの操作性を向上させるようにするものである。
本技術の一側面の情報処理装置は、ユーザ操作に基づいて、入力座標系を変更する座標系設定部と、第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う映像制御部とを備える。
本技術の一側面の情報処理方法は、情報処理装置が、ユーザ操作に基づいて、入力座標系を変更し、第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う。
本技術の一側面の記録媒体は、ユーザ操作に基づいて、入力座標系を変更し、第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う処理を実行させるためのプログラムが記録されている。
本技術の一側面においては、ユーザ操作に基づいて、入力座標系が変更され、異なる前記入力座標系におけるユーザ操作に基づいて、映像内のコンテンツの制御及び前記映像の表示位置の制御が行われる。
本技術を適用した情報処理システムの構成例及び設置例を示す図である。 情報処理システムの詳細な構成例を示すブロック図である。 駆動型表示装置の第１の構成例を示す図である。 駆動型表示装置の第２の構成例を示す図である。 表示空間モデル生成処理を説明するためのフローチャートである。 空間座標系の例を示す図である。 出力制御処理を説明するためのフローチャートである。 手の位置の検出処理を説明するための図である。 入力座標系の設定方法の第１の例を示す図である。 入力座標系の設定方法の第２の例を示す図である。 入力座標系の設定方法の第３の例を示す図である。 ユーザ操作の種類の例を説明するための図である。 座標系及び映像の表示位置の第１の例を示す図である。 座標系及び映像の表示位置の第１の例を示す図である。 座標系及び映像の表示位置の第１の例を示す図である。 座標系及び映像の表示位置の第２の例を示す図である。 座標系及び映像の表示位置の第２の例を示す図である。 座標系及び映像の表示位置の第２の例を示す図である。 座標系及び映像の表示位置の第２の例を示す図である。 座標系及び映像の表示位置の第３の例を示す図である。 座標系及び映像の表示位置の第３の例を示す図である。 座標系及び映像の表示位置の第３の例を示す図である。 座標系及び映像の表示位置の第４の例を示す図である。 座標系及び映像の表示位置の第４の例を示す図である。 座標系及び映像の表示位置の第４の例を示す図である。 座標系及び映像の表示位置の第５の例を示す図である。 座標系及び映像の表示位置の第５の例を示す図である。 座標系及び映像の表示位置の第５の例を示す図である。 座標系及び映像の表示位置の第６の例を示す図である。 座標系及び映像の表示位置の第６の例を示す図である。 座標系及び映像の表示位置の第６の例を示す図である。 座標系及び映像の表示位置の第７の例を示す図である。 座標系及び映像の表示位置の第７の例を示す図である。 座標系及び映像の表示位置の第７の例を示す図である。 座標系及び映像の表示位置の第８の例を示す図である。 座標系及び映像の表示位置の第８の例を示す図である。 座標系及び映像の表示位置の第８の例を示す図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．実施の形態
２．変形例
３．その他
＜＜１．実施の形態＞＞
図１乃至図３７を参照して、本技術の実施の形態について説明する。
＜情報処理システム１の構成例及び設置例＞
図１は、情報処理システム１の構成例及び設置例を示している。
図１は、情報処理システム１が部屋２に設置されている例を示している。部屋２は、天井２Ｃ、床２Ｆ、及び、四方の壁２Ｗａ乃至壁２Ｗｄ（壁２Ｗｄは不図示）により囲まれた直方体の空間であり、情報処理システム１により映像が表示される表示空間である。部屋２の中には、机３及び机４が配置されている。
情報処理システム１は、検出装置１１、情報処理装置１２、及び、駆動型表示装置１３を備える。検出装置１１及び駆動型表示装置１３は、例えば、天井２Ｃに設けられる。情報処理装置１２は、部屋２の中及び外のいずれに設けられてもよい。
検出装置１１は、ユーザＵ１によるユーザ操作を検出するための３次元のデプス画像（以下、ユーザ画像と称する）の撮影を行う。検出装置１１は、ユーザ画像を含むユーザ画像データを情報処理装置１２に送信する。
情報処理装置１２は、ユーザ画像データに基づいて、ユーザ操作を検出する。また、情報処理装置１２は、駆動型表示装置１３から供給される環境画像データに基づいて、表示空間（例えば、部屋２の室内）の３次元形状のモデル（以下、表示空間モデルと称する）を生成する。情報処理装置１２は、検出したユーザ操作、及び、表示空間モデル等に基づいて、駆動型表示装置１３の映像及び音の出力制御を行う。
駆動型表示装置１３は、映像の表示位置（投影位置）を変更可能な表示装置である。駆動型表示装置１３は、情報処理装置１２の制御の下に、表示空間の任意の位置に映像を投影し、映像に合わせて音を出力する。また、駆動型表示装置１３は、表示空間モデルを生成するための３次元のデプス画像（以下、環境画像と称する）の撮影を行う。駆動型表示装置１３は、環境画像を含む環境画像データを情報処理装置１２に供給する。
＜情報処理システム１の詳細な構成例＞
図２は、情報処理システム１の詳細な構成例を示している。
検出装置１１は、デプスセンサ１０１を備える。
デプスセンサ１０１には、例えば、赤外光を用いたＴｏＦ（Time of Flight）方式、Light Coding方式、アクティブステレオ方式等の任意の方式のデプスセンサが用いられる。デプスセンサ１０１は、ユーザ画像の撮影を行い、得られたユーザ画像データを情報処理装置１２に供給する。
情報処理装置１２は、Ｉ／Ｆ（インタフェース）部１２１、操作体検出部１２２、操作内容認識部１２３、環境認識部１２４、アプリケーション制御部１２６、及び、出力制御部１２７を備える。
Ｉ／Ｆ部１２１は、検出装置１１及び駆動型表示装置１３と各種のデータの送受信を行う。Ｉ／Ｆ部１２１は、検出装置１１及び駆動型表示装置１３から受信したデータを情報処理装置１２の各部に供給し、情報処理装置１２の各部から取得したデータを検出装置１１又は駆動型表示装置１３に送信する。
操作体検出部１２２は、Ｉ／Ｆ部１２１を介して、デプスセンサ１０１からユーザ画像データを受信する。操作体検出部１２２は、ユーザ画像内において、ユーザＵ１の操作体であるユーザＵ１の手の検出処理及び追跡処理を行う。操作体検出部１２２は、ユーザ画像、及び、ユーザ画像内のユーザＵ１の手の位置を示す情報を含む操作体情報を操作内容認識部１２３及び座標系設定部１２５に供給する。
操作内容認識部１２３は、操作体情報に基づいて、ユーザ操作の内容、及び、ユーザ操作が行われた位置を認識する。なお、ユーザ操作が行われた位置は、座標系設定部１２５の入力座標系設定部１４３により設定される入力座標系を用いて表される。操作内容認識部１２３は、ユーザ操作の内容を示す情報を座標系設定部１２５に供給し、ユーザ操作の内容及び位置を含むユーザ操作情報をアプリケーション制御部１２６に供給する。
環境認識部１２４は、Ｉ／Ｆ部１２１を介して、駆動型表示装置１３のデプスセンサ１８３から環境画像データを受信する。環境認識部１２４は、環境画像データに基づいて、表示空間モデルの生成処理、並びに、表示空間内の検出装置１１及び駆動型表示装置１３の位置の認識処理を行う。環境認識部１２４は、表示空間モデルを示す情報を座標系設定部１２５、アプリケーション制御部１２６、及び、映像生成部１６１に供給する。環境認識部１２４は、検出装置１１及び駆動型表示装置１３の位置を示す情報を座標系設定部１２５及び映像生成部１６１に供給する。また、環境認識部１２４は、デプスセンサ１８３による環境画像の撮影方向を、出力制御部１２７の駆動制御部１６２に指示する。
座標系設定部１２５は、各種の座標系の設定処理を行う。座標系設定部１２５は、空間座標系設定部１４１、ＵＩ（ユーザインタフェース）座標系設定部１４２、及び、入力座標系設定部１４３を備える。
空間座標系設定部１４１は、表示空間モデル等に基づいて、表示空間内の位置を表すための座標系である空間座標系を設定する。空間座標系設定部１４１は、設定した空間座標系を示す情報を、環境認識部１２４、アプリケーション制御部１２６、及び、出力制御部１２７に供給する。
ＵＩ座標系設定部１４２は、表示空間モデル、及び、アプリケーション制御部１２６の映像制御部１５２から供給される映像の表示位置を示す表示位置情報等に基づいて、ＵＩ座標系を設定する。ＵＩ座標系は、駆動型表示装置１３により表示される映像内の位置を表すための座標系である。ＵＩ座標系設定部１４２は、設定したＵＩ座標系を示す情報をアプリケーション制御部１２６に供給する。
入力座標系設定部１４３は、操作体情報、ユーザ操作情報、表示空間モデル、及び、アプリケーション制御部１２６の映像制御部１５２から供給される映像の表示位置を示す表示位置情報等に基づいて、入力座標系を設定する。入力座標系設定部１４３は、設定した入力座標系を示す情報を操作内容認識部１２３及びアプリケーション制御部１２６に供給する。
アプリケーション制御部１２６は、各種のアプリケーションプログラムを実行することにより所定の情報処理を行うとともに、駆動型表示装置１３により出力される映像及び音の制御を行う。アプリケーション制御部１２６は、情報処理部１５１、映像制御部１５２、及び、音制御部１５３を備える。
情報処理部１５１は、各種のアプリケーションプログラムを実行することにより所定の情報処理を行う。
映像制御部１５２は、ユーザ操作情報、及び、情報処理部１５１による情報処理の結果等に基づいて、駆動型表示装置１３から出力される映像の制御を行う。例えば、映像制御部１５２は、映像内のコンテンツ（以下、映像コンテンツとも称する）及び映像の表示位置等を制御する。映像制御部１５２は、映像コンテンツ及び映像の表示位置を示す情報を含む映像情報を出力制御部１２７に供給する。
音制御部１５３は、ユーザ操作情報、及び、情報処理部１５１による情報処理の結果等に基づいて、駆動型表示装置１３から出力される音の制御を行う。例えば、音制御部１５３は、音の内容（以下、音コンテンツと称する）等を制御する。音制御部１５３は、音コンテンツを示す情報を含む音情報を出力制御部１２７に供給する。
出力制御部１２７は、駆動型表示装置１３による映像及び音の出力を制御する。出力制御部１２７は、映像生成部１６１、駆動制御部１６２、及び、音生成部１６３を備える。
映像生成部１６１は、映像制御部１５２により設定された映像コンテンツを含む映像を、映像制御部１５２により設定された表示位置に表示するための映像データを生成する。映像生成部１６１は、生成した映像データを、Ｉ／Ｆ部１２１を介して駆動型表示装置１３に供給する。
駆動制御部１６２は、映像制御部１５２により設定された表示位置に映像が表示されるように、Ｉ／Ｆ部１２１を介して、駆動型表示装置１３の駆動機構１８４を制御する。
音生成部１６３は、音制御部１５３により設定された音コンテンツを含む音を出力するための音データを生成する。音生成部１６３は、生成した音データを、Ｉ／Ｆ部１２１を介して駆動型表示装置１３に供給する。
駆動型表示装置１３は、プロジェクタ１８１、スピーカ１８２、デプスセンサ１８３、及び、駆動機構１８４を備える。
プロジェクタ１８１は、映像生成部１６１から受信した映像データに基づく映像を表示空間内に投影する。
スピーカ１８２は、音生成部１６３から受信した音データに基づく音を出力する。なお、スピーカ１８２は、一般的なスピーカにより構成されてもよいし、指向性の高い超音波スピーカにより構成されてもよい。スピーカ１８２が超音波スピーカにより構成される場合、例えば、超音波の出力方向がプロジェクタ１８１の投影方向と平行になるように、スピーカ１８２が設置される。
デプスセンサ１８３には、デプスセンサ１０１と同様に任意の方式のデプスセンサが用いられる。デプスセンサ１８３は、環境画像の撮影を行い、得られた環境画像データを情報処理装置１２に供給する。
なお、プロジェクタ１８１とデプスセンサ１８３をなるべく近くに配置するとともに、プロジェクタ１８１の投影方向とデプスセンサ１８３の検出方向がなるべく平行になるようにすることが望ましい。これにより、デプスセンサ１８３の検出結果に基づいて、プロジェクタ１８１から出力される映像の幾何補正を行う場合の精度が向上する。
駆動機構１８４は、プロジェクタ１８１の映像の表示位置（投影位置）を移動させるための機構を備える。
＜駆動型表示装置１３の構成例＞
次に、図３及び図４を参照して、駆動型表示装置１３の構成例について説明する。
図３は、プロジェクタ１８１が可動式の駆動型表示装置１３の構成例を模式的に示している。具体的には、プロジェクタ１８１は、支持部材２０１により支持されている。支持部材２０１の構成は任意である。例えば、支持部材２０１は、天井から吊り下げるタイプでもよいし、床に置くタイプでもよい。そして、支持部材２０１により支持された状態で、図示せぬ駆動機構１８４によりプロジェクタ１８１の向きを変えることにより、プロジェクタ１８１により投影される映像の表示位置が移動する。
図４は、プロジェクタ１８１が固定式の駆動型表示装置１３の構成例を示している。具体的には、プロジェクタ１８１は、例えば、設置部材２２１を用いて、天井等から吊り下げられる。また、プロジェクタ１８１のレンズの前には、支持部材２２２により支持されたミラー２２３が設けられている。そして、図示せぬ駆動機構１８４により、支持部材２１２に支持された状態で、ミラー２２３の向きを変えることにより、プロジェクタ１８１により投影される映像の表示位置が移動する。
なお、以下では、主にプロジェクタ１８１が可動式の駆動型表示装置１３を用いた場合の例について説明する。
＜表示空間モデル生成処理＞
次に、図５のフローチャートを参照して、情報処理システム１により実行される表示空間モデル生成処理について説明する。
この処理は、例えば、情報処理システム１が表示空間に設置されたとき、又は、表示空間に変更が加えられたとき実行される。
ステップＳ１において、環境認識部１２４は、変数ｉに１を代入する。
なお、変数ｉは、環境画像の撮影方向を示す変数である。デプスセンサ１８３を駆動可能な範囲内において表示空間（例えば、部屋２の室内）をくまなく撮影できるように、１番目からｉ＿ｍａｘ番目までの撮影方向が予め設定されている。例えば、ｉ番目の撮影方向がパン角Ｐｉ及びチルト角Ｔｉといったように、各撮影方向が設定されている。
ステップＳ２において、駆動型表示装置１３は、デプスセンサ１８３をｉ番目の撮影方向に向ける。具体的には、環境認識部１２４は、デプスセンサ１８３をｉ番目の撮影方向に向けるように駆動制御部１６２に指示する。駆動制御部１６２は、Ｉ／Ｆ部１２１を介して、駆動型表示装置１３の駆動機構１８４を制御して、駆動型表示装置１３の向きを変えることにより、デプスセンサ１８３をｉ番目の撮影方向に向ける。
ステップＳ３において、デプスセンサ１８３は、環境画像を撮影する。すなわち、デプスセンサ１８３は、ｉ番目の撮影方向の環境画像を撮影する。デプスセンサ１８３は、得られた環境画像データを、Ｉ／Ｆ部１２１を介して、環境認識部１２４に供給する。
ステップＳ４において、環境認識部１２４は、変数ｉがｉ＿ｍａｘと等しいか否かを判定する。変数ｉがｉ＿ｍａｘと等しくないと判定された場合、処理はステップＳ５に進む。
ステップＳ５において、環境認識部１２４は、変数ｉの値を１つインクリメントする。
その後、処理はステップＳ２に戻り、ステップＳ４において、変数ｉがｉ＿ｍａｘと等しいと判定されるまで、ステップＳ２乃至ステップＳ５の処理が繰り返し実行される。これにより、１番目からｉ＿ｍａｘ番目までの撮影方向の環境画像が撮影される。
一方、ステップＳ４において、変数ｉがｉ＿ｍａｘと等しいと判定された場合、処理はステップＳ６に進む。
ステップＳ６において、環境認識部１２４は、表示空間モデルを生成する。すなわち、環境認識部１２４は、表示空間内の各撮影方向の３次元形状を表す環境画像を統合することにより、表示空間全体の３次元形状を表す表示空間モデルを生成する。環境認識部１２４は、表示空間モデル示す情報を座標系設定部１２５、アプリケーション制御部１２６、及び、出力制御部１２７に供給する。
なお、表示空間モデルの生成には、任意の手法を用いることができる。
ステップＳ７において、空間座標系設定部１４１は、空間座標系を設定する。すなわち、空間座標系設定部１４１は、表示空間モデルに基づいて、表示空間内の位置を表すための空間座標系を設定する。空間座標系設定部１４１は、空間座標系を示す情報、例えば、表示空間モデル内の空間座標系の位置を示す情報を、環境認識部１２４、アプリケーション制御部１２６、及び、出力制御部１２７に供給する。
なお、空間座標系は、表示空間内の位置を表すことが可能であれば、任意の座標系に設定することができる。例えば、図６に示されるように、部屋２の壁２Ｗｂ、壁２Ｗｃ、及び、床２Ｆの交点を原点とし、壁２Ｗｂが横方向に延びる方向をＸｓ軸、垂直上方向をＹｓ軸、壁２Ｗｃが横方向に延びる方向をＺｓ軸とする空間座標系が設定される。
ステップＳ８において、環境認識部１２４は、検出装置１１及び駆動型表示装置１３の位置を検出する。具体的には、環境認識部１２４は、表示空間モデルに基づいて、空間座標系における検出装置１１及び駆動型表示装置１３の位置を検出する。環境認識部１２４は、検出装置１１及び駆動型表示装置１３の位置を示す情報を座標系設定部１２５及び出力制御部１２７に供給する。
駆動型表示装置１３の位置は、例えば、映像を所望の位置に表示させるためのプロジェクタ１８１の位置及び姿勢の算出に用いられる。検出装置１１の位置は、デプスセンサ１０１の位置及び姿勢の算出に用いられ、デプスセンサ１０１の位置及び姿勢は、入力座標系の設定に用いられる。
その後、表示空間モデル生成処理は終了する。
＜出力制御処理＞
次に、図７のフローチャートを参照して、情報処理システム１により実行される出力制御処理について説明する。
この処理は、例えば、映像の表示を伴うアプリケーションプログラムの起動の指令が情報処理装置１２に入力されたとき開始される。
ステップＳ５１において、情報処理部１５１は、アプリケーションプログラムを起動する。
これに合わせて、デプスセンサ１０１は、ユーザ画像を撮影し、得られたユーザ画像データを、Ｉ／Ｆ部１２１を介して、操作体検出部１２２に供給する処理を開始する。
操作体検出部１２２は、ユーザ画像内のユーザＵ１の手の位置の検出及び追跡を行う処理を開始する。例えば、操作体検出部１２２は、図８の斜線部により示されるように、デプス画像内のユーザの手の各指の指先の検出処理及び追跡処理を開始する。また、操作体検出部１２２は、ユーザ画像データ、及び、ユーザ画像内のユーザＵ１の手の位置を示す情報を含む操作体情報を操作内容認識部１２３及び座標系設定部１２５に供給する処理を開始する。
ステップＳ５２において、操作内容認識部１２３は、ユーザ操作が開始されたか否かを判定する。具体的には、操作内容認識部１２３は、操作体情報に基づいて、ユーザ操作の内容を認識する。操作内容認識部１２３は、入力座標系の設定用のユーザ操作を認識するまで、ユーザ操作が開始されていないと判定する。
一方、操作内容認識部１２３は、入力座標系の設定用のユーザ操作を認識した場合、ユーザ操作が開始されたと判定し、処理はステップＳ５３に進む。
図９乃至図１１は、入力座標系の設定用のユーザ操作の例を示している。
例えば、ユーザＵ１は、入力座標系を設定する場合、手を所定の形にした状態で、机３又は机４等の所望の平面（以下、入力面と称する）をタッチする。例えば、図９に示されるように、ユーザＵ１は、人差し指を伸ばした状態で、所望の平面をタッチする。また、例えば、図１０又は図１１に示されるように、ユーザＵ１は、手を広げた状態で、所望の平面をタッチする。
操作内容認識部１２３は、ユーザ画像におけるユーザＵ１の手及び入力面の３次元情報に基づいて、ユーザＵ１の手の形、及び、ユーザＵ１の手の入力面へのタッチを検出する。
なお、ユーザの手のタッチの検出アルゴリズムには、例えば、”R. Xiao, S. Hudson, and C. Harrison, ”Supporting responsive cohabitation between virtual interfaces and physical objects on everyday surfaces,” HCI, vol. 1, no. 1, p. 12, 2017”に記載されている方法等が用いられる。
ステップＳ５３において、入力座標系設定部１４３は、入力座標系を設定する。
具体的には、操作内容認識部１２３は、入力座標系の設定用のユーザ操作が行われたことを座標系設定部１２５に通知する。
入力座標系設定部１４３は、操作体情報に基づいて、入力座標系の設定用のユーザの入力が行われたときのユーザＵ１の手の位置及び形状を認識する。そして、入力座標系設定部１４３は、操作体であるユーザＵ１の手の向きに基づいて、入力座標系を設定する。
例えば、図９の例では、人差し指の付け根付近に対応する入力面上の点が、入力座標系の原点に設定される。また、入力面において原点を通り、人差し指の指す方向に延びる軸が、入力座標系のＹｉ軸に設定され、入力面において原点を通りＹｉ軸に直交する軸が、入力座標系のＸｉ軸に設定される。
例えば、図１０の例では、広げた手により規定される矩形の領域の中心に対応する入力面上の点が、入力座標系の原点に設定される。また、入力面において原点を通り、矩形の領域のユーザの指が伸びる方向と平行な軸が、入力座標系のＹｉ軸に設定され、入力面において原点を通りＹｉ軸に直交する軸が、入力座標系のＸｉ軸に設定される。
例えば、図１１の例では、手の甲の中心と対応する入力面上の点が、入力座標系の原点に設定される。また、入力面において原点と人差し指の指先を通る軸が、入力座標系のＹｉ軸に設定され、入力面において原点を通りＹｉ軸に直交する軸が、入力座標系のＸｉ軸に設定される。
入力座標系設定部１４３は、設定した入力座標系を示す情報、例えば、表示空間モデル及びユーザ画像における入力座標系の位置を示す情報を操作内容認識部１２３及びアプリケーション制御部１２６に供給する。
ステップＳ５４において、操作内容認識部１２３は、ユーザ操作の内容を認識する。具体的には、操作内容認識部１２３は、操作体検出部１２２により検出されたユーザＵ１の手の形状及び位置に基づいて、ユーザ操作の内容、及び、ユーザ操作が行われた入力座標系の位置を認識する。
図１２は、ユーザ操作の種類及び操作方法の例を示している。
この例では、ユーザ操作の種類として、ＵＩ（ユーザインタフェース）操作、映像の局所移動、及び、映像の空間移動の３種類が例示されている。
ＵＩ操作は、映像内の映像コンテンツに対する各種の操作を行うためのユーザ操作である。例えば、映像コンテンツのスクロール、拡大、縮小、映像コンテンツ内の位置の指示又は選択等の操作が該当する。例えば、ユーザは、人差し指等の１本の指により入力面をスライド又はタップすることにより、ＵＩ操作を行う。また、例えば、ユーザは、親指と人差し指等の２本の指により入力面をピンチイン又はピンチアウトすることにより、ＵＩ操作を行う。
映像の局所移動は、例えば、映像の表示位置を同じ入力面の所定の狭い範囲内で移動させるためのユーザ操作である。例えば、ユーザは、人差し指、中指、及び、薬指等の３本の指を入力面上でスライドすることにより、映像の局所移動を行う。
映像の空間移動は、例えば、映像の表示位置を同じ入力面内で所定の範囲以上移動させたり、異なる表示面に映像を移動させたりするためのユーザ操作である。例えば、ユーザは、５本の指又は掌全体を入力面上でスライドすることにより、映像の空間移動を行う。
操作内容認識部１２３は、ユーザ操作の内容を示す情報を座標系設定部１２５に供給し、ユーザ操作の内容及び位置を含むユーザ操作情報をアプリケーション制御部１２６に供給する。
ステップＳ５５において、情報処理部１５１は、アプリケーションプログラムの終了が指令されたか否かを判定する。例えば、情報処理部１５１は、アプリケーションプログラムの終了を指令するユーザ操作が認識されていない場合、アプリケーションプログラムの終了が指令されていないと判定し、処理はステップＳ５６に進む。
ステップＳ５６において、入力座標系設定部１４３は、ユーザ操作の内容、及び、後述するステップＳ５９において設定される映像の表示位置等に基づいて、入力座標系の変更が必要か否かを判定する。例えば、入力座標系設定部１４３は、ユーザ操作がＵＩ操作又は映像の局所移動から映像の空間移動に変化した場合、又は、映像の空間移動からＵＩ操作又は映像の局所移動に変化した場合、入力座標系の変更が必要であると判定する。また、例えば、入力座標系設定部１４３は、入力座標系の設定用のユーザ操作が行われた場合、入力座標系の変更が必要であると判定する。さらに、例えば、入力座標系設定部１４３は、映像の表示位置の移動に伴い、映像が表示される表示面が変更された場合、入力座標系の変更が必要であると判定する。そして、入力座標系の変更が必要であると判定された場合、処理はステップＳ５７に進む。
ステップＳ５７において、入力座標系設定部１４３は、入力座標系を変更する。入力座標系設定部１４３は、変更後の入力座標系を示す情報、例えば、表示空間モデル及びユーザ画像における入力座標系の位置を示す情報を操作内容認識部１２３及びアプリケーション制御部１２６に供給する。
なお、入力座標系の変更方法については、後述する。
その後、処理はステップＳ５８に進む。
一方、ステップＳ５６において、入力座標系の変更が必要ないと判定された場合、ステップＳ５７の処理はスキップされ、処理はステップＳ５８に進む。
ステップＳ５８において、アプリケーション制御部１２６は、出力内容を設定する。具体的には、映像制御部１５２は、入力座標系設定部１４３により設定されたユーザ操作の内容及び位置、並びに、情報処理部１５１による情報処理の結果等に基づいて、駆動型表示装置１３から出力する映像内の映像コンテンツを設定する。
また、音制御部１５３は、ユーザ操作の内容及び位置、並びに、情報処理部１５１による情報処理の結果等に基づいて、駆動型表示装置１３から出力する音の内容である音コンテンツを設定する。音制御部１５３は、音コンテンツを示す情報を含む音情報を出力制御部１２７に供給する。
ステップＳ５９において、映像制御部１５２は、映像の表示位置を設定する。具体的には、映像制御部１５２は、入力座標系設定部１４３により設定された入力座標系におけるユーザ操作の内容及び位置等に基づいて、空間座標系における映像の表示位置を設定する。映像制御部１５２は、映像コンテンツ及び表示位置を示す情報を含む映像情報を出力制御部１２７に供給する。
また、ＵＩ座標系設定部１４２は、映像制御部１５２により設定された映像の表示位置及び表示空間モデルに基づいて、ＵＩ座標系を設定する。ＵＩ座標系設定部１４２は、設定したＵＩ座標系を示す情報、例えば、表示空間モデル内のＵＩ座標系の位置を示す情報をアプリケーション制御部１２６に供給する。
ステップＳ６０において、情報処理システム１は、映像及び音を出力する。具体的には、映像生成部１６１は、設定された映像コンテンツを含む映像を、設定された表示位置に表示するための映像データを生成する。このとき、プロジェクタ１８１と表示面の位置関係、表示面の形状等に基づいて、映像の幾何補正が行われる。映像生成部１６１は、生成した映像データを、Ｉ／Ｆ部１２１を介して駆動型表示装置１３に供給する。
駆動制御部１６２は、設定された表示位置に映像が表示されるように、Ｉ／Ｆ部１２１を介して駆動型表示装置１３の駆動機構１８４を制御する。
プロジェクタ１８１は、映像生成部１６１から受信した映像データに基づく映像を表示面に投影する。
音生成部１６３は、設定された音コンテンツを含む音を出力するための音データを生成する。音生成部１６３は、生成した音データを、Ｉ／Ｆ部１２１を介して駆動型表示装置１３に供給する。
スピーカ１８２は、音生成部１６３から受信した音データに基づく音を出力する。
その後、処理はステップＳ５４に戻り、ステップＳ５５において、アプリケーションプログラムの終了が指令されたと判定されるまで、ステップＳ５４乃至ステップＳ６０の処理が繰り返し実行される。
一方、ステップＳ５５において、例えば、情報処理部１５１は、アプリケーションプログラムの終了を指令するユーザ操作が認識された場合、アプリケーションプログラムの終了が指令されたと判定し、処理はステップＳ６１に進む。
ステップＳ６１において、情報処理部１５１は、アプリケーションプログラムを終了する。
その後、出力制御処理は終了する。
＜座標系及び映像の表示位置の具体例＞
次に、図１３乃至図３７を参照して、図７の出力制御処理における座標系及び映像の表示位置の具体例について説明する。
＜第１の例＞
まず、図１３乃至図１５を参照して、第１の例について説明する。
図１３の例では、空間座標系は、図６の例と同様に設定されている。
また、ユーザＵ１が壁２Ｗｃの方向を向き、机３の上面が入力面に設定されている。そして、入力座標系のＸｉ軸は、机３の上面において、空間座標系のＺｓ軸と平行かつ逆方向に設定されている。Ｙｉ軸は、机３の上面において、空間座標系のＸｓ軸と平行かつ逆方向に設定されている。Ｚｉ軸は、机３の上面に垂直な方向、すなわち、空間座標系のＹｓ軸と平行かつ同じ方向に設定されている。
さらに、ユーザＵ１の右方向の壁２Ｗｂが表示面に設定され、映像Ｐ１が壁２Ｗｂに表示されている。また、映像Ｐ１は、各辺が壁２Ｗｂの各辺に平行になるように表示されている。従って、ＵＩ座標系のＸｕ軸は、空間座標系のＸｓ軸と平行かつ同じ方向に設定され、Ｙｕ軸は、空間座標系のＹｓ軸と平行かつ同じ方向に設定されている。
この状態においてＵＩ操作が行われる場合、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。これにより、例えば、ユーザＵ１のＸｉ軸方向の手の動きが、映像Ｐ１内の映像コンテンツのＸｕ軸方向の動きに反映され、ユーザＵ１のＹｉ軸方向の手の動きが、映像Ｐ１内の映像コンテンツのＹｕ軸方向の動きに反映される。例えば、ユーザＵ１の手のＸｉ軸方向及びＹｉ軸方向の動きに応じて、映像Ｐ１内の映像コンテンツがＸｕ軸方向及びＹｕ軸方向にスクロールする。
図１４は、図１３と同様の状態において、所定の範囲Ｓ１内において映像Ｐ１の局所移動が行われる場合の例を示している。
この場合も、入力座標系はＵＩ操作が行われる場合と同様に設定され、ＵＩ操作が行われる場合と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。これにより、例えば、ユーザＵ１のＸｉ軸方向の手の動きが、映像Ｐ１の表示位置のＸｕ軸方向の動きに反映され、ユーザＵ１のＹｉ軸方向の手の動きが、映像Ｐ１の表示位置のＹｕ軸方向の動きに反映される。例えば、ユーザＵ１の手のＸｉ軸方向及びＹｉ軸方向の動きに応じて、映像Ｐ１の表示位置が壁２Ｗｂ上をＸｕ軸方向及びＹｕ軸方向に移動する。この例では、ユーザＵ１が、Ｘｉ軸の負の方向かつＹｉ軸の正の方向に手を動かすことにより、映像Ｐ１の表示位置が、壁２Ｗｂ上をＸｕ軸の負の方向かつＹｕ軸の正の方向に斜めに移動する例が示されている。
図１５は、図１３と同様の状態において、映像Ｐ１の空間移動が行われる場合の例を示している。
この場合、表示面（空間座標系）に応じて入力座標系が変更される。具体的には、入力面及び入力座標系の原点の位置はそのままで（入力座標系と原点は共通で）、入力座標系のＸｉ軸が、机３の上面において、空間座標系のＸｓ軸と平行かつ同じ方向に設定される。Ｙｉ軸は、机３の上面において、空間座標系のＺｓ軸と平行かつ逆方向に設定される。Ｚｉ軸は、机３の上面に垂直な方向、すなわち、空間座標系のＹｓ軸と平行かつ同じ方向に設定される。
そして、入力座標系のＸｉ軸と空間座標系のＸｓ軸が対応付けられ、入力座標系のＹｉ軸と空間座標系のＹｓ軸が対応付けられる。これにより、例えば、ユーザＵ１のＸｉ軸方向の手の動きが、映像Ｐ１の表示位置のＸｓ軸方向の動きに反映され、ユーザＵ１のＹｉ軸方向の手の動きが、映像Ｐ１の表示位置のＹｓ軸方向の動きに反映される。例えば、ユーザＵ１の手のＸｉ軸方向及びＹｉ軸方向の動きに応じて、映像Ｐ１の表示位置が壁２Ｗｂ上をＸｓ軸方向及びＹｓ軸方向に移動する。この例では、ユーザＵ１が、Ｘｉ軸の負の方向に手を動かすことにより、映像Ｐ１の表示位置が、壁２Ｗｂ上をＸｓ軸の負の方向に移動する例が示されている。
このように、ユーザ操作が行われる入力面（例えば、机３の上面）と映像Ｐ１が表示される表示面（例えば、壁２Ｗｂ）とが互いに垂直な場合、ともに表示面に平行な入力座標系の軸（Ｘｉ軸）と空間座標系の軸（Ｘｓ軸）とが対応付けられる。これにより、ユーザＵ１の手のＸｉ軸方向の動きと表示面における映像Ｐ１の移動方向とが一致し、ユーザＵ１のＸｉ軸方向の手の動きに応じて、映像Ｐ１が同じ方向に移動する。その結果、ユーザＵ１が、手の動きと映像Ｐ１の表示位置の動きとの対応関係を把握しやすくなり、操作性が向上する。
なお、ユーザ操作が映像Ｐ１の空間移動からＵＩ操作又は映像Ｐ１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図１５の状態から、図１３又は図１４の状態に変更される。
＜第２の例＞
次に、図１６乃至図１９を参照して、第２の例について説明する。
図１６の例では、空間座標系は、図１３の例と同様に設定されている。また、映像Ｐ１が、図１３の例と同様に表示され、ＵＩ座標系が、図１３の例と同様に設定されている。一方、図１３の例と異なり、ユーザＵ１が壁２Ｗｂの方向を向き、入力座標系が図１５の例と同様に設定されている。
この状態において、ＵＩ操作が行われる場合、図１３の例と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１内の映像コンテンツが、図１３の例と同様の動きをする。ただし、図１３の例と入力座標系の向きが異なるため、映像Ｐ１内の映像コンテンツを操作するときにユーザＵ１が手を動かす方向が異なる。
図１７は、図１６と同様の状態において、映像Ｐ１の局所移動が行われる場合の例を示している。
この場合も、図１４の例と同様に、入力座標系はＵＩ操作が行われる場合と同様に設定され、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１の表示位置が、図１４の例と同様の動きをする。ただし、図１４の例と入力座標系の向きが異なるため、映像Ｐ１を局所移動するときにユーザＵ１が手を動かす方向が異なる。
図１８は、図１６と同様の状態において、映像Ｐ１の空間移動が行われる場合の例を示している。
この場合、入力座標系のＸｉ軸と空間座標系のＸｓ軸とが元々平行かつ同じ方向に設定されているため、入力座標系は変更されない。そして、図１５の例と同様に、入力座標系のＸｉ軸と空間座標系のＸｓ軸が対応付けられ、入力座標系のＹｉ軸と空間座標系のＹｓ軸が対応付けられる。従って、図１５の例と入力座標系の向きが同じであるため、図１５の例と同様の手の動きにより、映像Ｐ１の表示位置を動かすことができる。
図１９は、映像Ｐ１を壁２Ｗｂから壁２Ｗｃに空間移動させる場合の例を示している。
この場合、映像Ｐ１が壁２Ｗｂから壁２Ｗｃに移動した後、表示面の変更に伴い、表示面（空間座標系）に応じて入力座標系が変更される。具体的には、入力面及び入力座標系の原点の位置はそのままで、入力座標系のＺｉ軸が、机３の上面において、空間座標系のＺｓ軸と平行かつ同じ方向に設定される。入力座標系のＹｉ軸は、机３の上面において、空間座標系のＸｓ軸と平行かつ逆方向に設定される。入力座標系のＸｉ軸は、机３の上面に垂直な方向、すなわち、空間座標系のＹｓ軸と平行かつ同じ方向に設定される。
そして、入力座標系のＺｉ軸と空間座標系のＺｓ軸が対応付けられ、入力座標系のＹｉ軸と空間座標系のＹｓ軸が対応付けられる。これにより、例えば、ユーザＵ１のＺｉ軸方向の手の動きが、映像Ｐ１の表示位置のＺｓ軸方向の動きに反映され、ユーザＵ１のＹｉ軸方向の手の動きが、映像Ｐ１の表示位置のＹｓ軸方向の動きに反映される。例えば、ユーザＵ１の手のＺｉ軸方向及びＹｉ軸方向の動きに応じて、映像Ｐ１の表示位置が壁２Ｗｃ上をＺｓ軸方向及びＹｓ軸方向に移動する。図１９のＢの例では、ユーザＵ１が、Ｚｉ軸の正の方向に手を動かすことにより、映像Ｐ１の表示位置が、壁２Ｗｃ上をＺｓ軸の正の方向に移動する例が示されている。
このように、映像Ｐ１の表示面の移動に応じて入力座標系を変更し、ともに表示面に平行な入力座標系の軸（Ｚｉ軸）と空間座標系の軸（Ｚｓ軸）とが対応付けられる。これにより、ユーザＵ１の手のＺｉ軸方向の動きと表示面における映像Ｐ１の移動方向とが一致し、ユーザＵ１のＺｉ軸方向の手の動きに応じて、映像Ｐ１が同じ方向に移動する。その結果、映像Ｐ１の表示面が変更されても、ユーザＵ１が、手の動きと映像Ｐ１の表示位置の動きとの対応関係を把握しやすくなり、操作性が向上する。また、ユーザＵ１は、表示面に手を触れなくても、入力面上の操作だけで、映像Ｐ１を異なる表示面に移動させることができる。
なお、映像Ｐ１の表示面が移動した場合に、例えば、移動後すぐに入力座標系を変更するようにしてもよいし、映像Ｐ１の空間移動が継続している間は、入力座標系を変更せずに、映像Ｐ１の空間移動が停止してから（例えば、空間移動の操作が終了してから）、入力座標系を変更するようにしてもよい。
また、例えば、フリック等の操作により、ユーザＵ１が入力面から手を放した後も、映像Ｐ１が移動し続け、映像Ｐ１の表示面が移動した後、映像Ｐ１の移動が停止するようにしてもよい。この場合、映像Ｐ１の移動が停止した後、入力座標系が変更される。
なお、ユーザ操作が映像Ｐ１の空間移動からＵＩ操作又は映像Ｐ１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図１８又は図１９の状態から、図１６又は図１７の状態に変更される。
＜第３の例＞
次に、図２０乃至図２２を参照して、第３の例について説明する。
図２０の例では、空間座標系は、図１３の例と同様に設定されている。また、映像Ｐ１が、図１３の例と同様に表示され、ＵＩ座標系が、図１３の例と同様に設定されている。
一方、入力座標系は、図１３の例と異なり、空間座標系に対して傾いている。具体的には、机３の上面が入力面に設定されている。そして、入力座標系のＸｉ軸は、机３の上面において、空間座標系のＸｓ軸及びＺｓ軸に対して傾くように設定されている。Ｙｉ軸は、机３の上面において、Ｘｉ軸に垂直になり、空間座標系のＸｓ軸及びＺｓ軸に対して傾くように設定されている。Ｚｉ軸は、机３の上面に垂直な方向、すなわち、空間座標系のＹｓ軸と平行かつ同じ方向に設定されている。
この状態においてＵＩ操作が行われる場合、図１３の例と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１内の映像コンテンツが、図１３の例と同様の動きをする。ただし、図１３の例と入力座標系の向きが異なるため、映像Ｐ１内の映像コンテンツを操作するときにユーザＵ１が手を動かす方向が異なる。
図２１は、図２０と同様の状態において、映像Ｐ１の局所移動が行われる場合の例を示している。
この場合も、図１４の例と同様に、入力座標系はＵＩ操作が行われる場合と同様に設定され、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１の表示位置が、図１４の例と同様の動きをする。ただし、図１４の例と入力座標系の向きが異なるため、映像Ｐ１を局所移動するときにユーザＵ１が手を動かす方向が異なる。
図２２は、図２０と同様の状態において、映像Ｐ１の空間移動が行われる場合の例を示している。
この場合、図１５の例と同様に、空間座標系に応じて入力座標系が変更される。これにより、入力座標系のＸｉ軸が、表示面である壁２Ｗｂに対して平行になる。そして、図１５の例と同様の手の動きにより、映像Ｐ１の表示位置を動かすことができる。
このように、入力面と表示面が垂直であり、かつ、入力座標系の軸が表示面に対して傾いている場合、映像Ｐ１の空間移動が行われるとき、入力座標系の１つの軸（例えば、Ｘｉ軸）が表示面に対して平行になるように、入力座標系が変更される。そして、ともに表示面に平行な入力座標系の軸（Ｘｉ軸）と空間座標系の軸（Ｘｓ軸）とが対応付けられる。これにより、ユーザＵ１の手のＸｉ軸方向の動きと表示面における映像Ｐ１の移動方向とが一致し、ユーザＵ１のＸｉ軸方向の手の動きに応じて、映像Ｐ１が同じ方向に移動する。その結果、ユーザＵ１が、手の動きと映像Ｐ１の表示位置の動きとの対応関係を把握しやすくなり、操作性が向上する。
なお、ユーザ操作が映像Ｐ１の空間移動からＵＩ操作又は映像Ｐ１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図２２の状態から、図２０又は図２１の状態に変更される。
＜第４の例＞
次に、図２３乃至図２５を参照して、第４の例について説明する。
図２３の例では、空間座標系は、図１３の例と同様に設定されている。また、映像Ｐ１が、図１３の例と同様に表示され、ＵＩ座標系が、図１３の例と同様に設定されている。
一方、入力座標系は、図１３の例と異なっている。具体的には、壁２Ｗａが、入力面に設定されている。そして、入力座標系のＸｉ軸は、壁２Ｗａにおいて、空間座標系のＺｓ軸に平行かつ同じ方向に設定されている。Ｙｉ軸は、空間座標系のＹｓ軸に平行かつ同じ方向に設定されている。Ｚｉ軸は、壁２Ｗａに垂直な方向、すなわち、空間座標系のＸｓ軸と平行かつ逆方向に設定されている。
この状態において、ＵＩ操作が行われる場合、図１３の例と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１内の映像コンテンツが、図１３の例と同様の動きをする。ただし、図１３の例と入力面及び入力座標系の向きが異なるため、映像Ｐ１内の映像コンテンツを操作するときにユーザＵ１が手を動かす方向が異なる。
図２４は、図２３と同様の状態において、映像Ｐ１の局所移動が行われる場合の例を示している。
この場合も、図１４の例と同様に、入力座標系はＵＩ操作が行われる場合と同様に設定され、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１の表示位置が、図１４の例と同様の動きをする。ただし、図１４の例と入力面及び入力座標系の向きが異なるため、映像Ｐ１を局所移動するときにユーザＵ１が手を動かす方向が異なる。
図２５は、図２１と同様の状態において、映像Ｐ１の空間移動が行われる場合の例を示している。
この場合、入力座標系のＹｉ軸と空間座標系のＹｓ軸とが元々平行かつ同じ方向に設定されているため、入力座標系は変更されない。そして、図１５の例と同様に、入力座標系のＸｉ軸と空間座標系のＸｓ軸が対応付けられ、入力座標系のＹｉ軸と空間座標系のＹｓ軸が対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１の表示位置が、図１５の例と同様の動きをする。ただし、図１５の例と入力座標系の向きが異なるため、映像Ｐ１の表示位置を移動するときにユーザＵ１が手を動かす方向が異なる。
このように、ユーザ操作が行われる入力面（例えば、壁２Ｗａ）と映像Ｐ１が表示される表示面（例えば、壁２Ｗｂ）とが互いに垂直な場合、ともに表示面に平行な入力座標系の軸（Ｙｉ軸）と空間座標系の軸（Ｙｓ軸）とが対応付けられる。これにより、ユーザＵ１の手のＹｉ軸方向の動きと表示面における映像Ｐ１の移動方向とが一致し、ユーザＵ１のＹｉ軸方向の手の動きに応じて、映像Ｐ１が同じ方向に移動する。その結果、ユーザＵ１が、手の動きと映像Ｐ１の表示位置の動きとの対応関係を把握しやすくなり、操作性が向上する。
なお、ユーザ操作が映像Ｐ１の空間移動からＵＩ操作又は映像Ｐ１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図２５の状態から、図２３又は図２４の状態に変更される。
＜第５の例＞
次に、図２６乃至図２８を参照して、第５の例について説明する。
図２６の例では、空間座標系及び入力座標系は、図１６の例と同様に設定されている。
また、映像Ｐ１１が、図１６の例と同様に、壁２Ｗｂに表示されている。ただし、図１６の例と異なり、映像Ｐ１１が、空間座標系のＸｓ軸及びＹｓ軸に対して傾いている。そして、ＵＩ座標系のＸｕ軸は、空間座標系のＸｓ軸に対して斜め方向に設定されている。ＵＩ座標系のＹｕ軸は、空間座標系のＹｓ軸に対して斜め方向に設定されている。
この状態において、ＵＩ操作が行われる場合、図１６の例と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ１１内の映像コンテンツが、図１６の例と同様の動きをする。ただし、空間座標系におけるＵＩ座標系の位置及び向きが図１６の例と異なるため、空間座標系において映像Ｐ１１内の映像コンテンツの動く方向は、図１６の例と異なる。
図２７は、図２６と同様の状態において、映像Ｐ１１の局所移動が行われる場合の例を示している。
この場合も、図１７の例と同様に、入力座標系はＵＩ操作が行われる場合と同様に設定され、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。ただし、図１７の例と比較して、空間座標系におけるＵＩ座標系の位置及び向きが異なるため、同じユーザＵ１の手の動きに対して、空間座標系において映像Ｐ１１の表示位置が動く方向が異なる。この例では、ユーザＵ１が、Ｘｉ軸の負の方向かつＹｉ軸の正の方向に手を動かすことにより、映像Ｐ１１の表示位置が、壁２Ｗｂ上をＸｕ軸の負の方向かつＹｕ軸の正の方向に斜めに移動する例が示されている。
図２８は、図２６と同様の状態において、映像Ｐ１１の空間移動が行われる場合の例を示している。
この場合、図１８の例と同様に、入力座標系のＸｉ軸と空間座標系のＸｓ軸とが元々平行かつ同じ方向に設定されているため、入力座標系は変更されない。そして、図１８の例と同様に、入力座標系のＸｉ軸と空間座標系のＸｓ軸が対応付けられ、入力座標系のＹｉ軸と空間座標系のＹｓ軸が対応付けられる。従って、図１８の例と入力座標系の向きが同じであるため、図１８の例と同様の手の動きにより、映像Ｐ１１の表示位置を動かすことができる。ただし、映像Ｐ１１は、空間座標系に対して傾いた状態で移動する。
このように、映像Ｐ１１が空間座標系の軸に対して傾いて表示されている場合、上述した例と同様の方法により、映像Ｐ１１が傾いたまま、映像Ｐ１１の局所移動及び空間移動が行われる。
なお、ユーザ操作が映像Ｐ１１の空間移動からＵＩ操作又は映像Ｐ１１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図２８の状態から、図２６又は図２７の状態に変更される。
＜第６の例＞
次に、図２９乃至図３１を参照して、第６の例について説明する。
図２９の例では、空間座標系及び入力座標系は、図１３の例と同様に設定されている。
また、映像Ｐ２１が、天井２Ｃに表示されている。すなわち、天井２Ｃが表示面に設定されている。ＵＩ座標系のＸｕ軸は、空間座標系のＺｓ軸と平行かつ逆方向に設定されている。Ｙｕ軸は、空間座標系のＸｓ軸と平行かつ同じ方向に設定されている。
この状態において、ＵＩ操作が行われる場合、図１３の例と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ２１内の映像コンテンツが、図１３の例と同様の動きをする。ただし、空間座標系におけるＵＩ座標系の位置及び向きが図１３の例と異なるため、空間座標系において映像Ｐ２１内の映像コンテンツの動く方向は、図１３の例と異なる。
図３０は、図２９と同様の状態において、映像Ｐ２１が所定の範囲Ｓ２１内にいて局所移動が行われる場合の例を示している。
この場合も、図１４の例と同様に、入力座標系はＵＩ操作が行われる場合と同様に設定され、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。ただし、図１４の例と比較して、空間座標系におけるＵＩ座標系の位置及び向きが異なるため、同じユーザＵ１の手の動きに対して、空間座標系において映像Ｐ２１の表示位置が動く方向が異なる。この例では、ユーザＵ１が、Ｘｉ軸の正の方向かつＹｉ軸の正の方向に手を動かすことにより、映像Ｐ２１の表示位置が、天井Ｗｃ上をＸｕ軸の正の方向かつＹｕ軸の正の方向に斜めに移動する例が示されている。
図３１は、図２９と同様の状態において、映像Ｐ２１の空間移動が行われる場合の例を示している。
この場合、空間座標系に応じて入力座標系が変更される。具体的には、入力座標系の原点の位置は変わらずに、入力座標系のＸｉ軸は、机３の上面において、空間座標系のＸｓ軸と平行かつ同じ方向に設定される。Ｙｉ軸は、机３の上面に垂直な方向、すなわち、空間座標系のＹｓ軸と平行かつ同じ方向に設定される。Ｚｉ軸は、机３の上面において、空間座標系のＺｓ軸と平行かつ同じ方向に設定される。
そして、入力座標系のＸｉ軸と空間座標系のＸｓ軸が対応付けられ、入力座標系のＺｉ軸と空間座標系のＺｓ軸が対応付けられる。これにより、例えば、ユーザＵ１のＸｉ軸方向の手の動きが、映像Ｐ２１の表示位置のＸｓ軸方向の動きに反映され、ユーザＵ１のＺｉ軸方向の手の動きが、映像Ｐ２１の表示位置のＺｓ軸方向の動きに反映される。例えば、ユーザＵ１の手のＸｉ軸方向及びＺｉ軸方向の動きに応じて、映像Ｐ２１の表示位置が天井２Ｃ上をＸｓ軸方向及びＺｓ軸方向に移動する。この例では、ユーザＵ１が、Ｘｉ軸の正の方向に手を動かすことにより、映像Ｐ２１の表示位置が、天井２Ｃ上をＸｓ軸の正の方向に移動する例が示されている。
このように、ユーザ操作が行われる入力面（例えば、机３の上面）と映像Ｐ２１が表示される表示面（例えば、天井２Ｃ）とが互いに平行である場合、ともに表示面に平行な入力座標系の軸（Ｘｉ軸及びＺｉ軸）と空間座標系の軸（Ｘｓ軸及びＺｓ軸）とが対応付けられる。これにより、ユーザＵ１の手の移動方向と表示面における映像Ｐ２１の移動方向とが一致し、ユーザＵ１の手の動きに応じて、映像Ｐ２１が同じ方向に移動する。その結果、ユーザＵ１が、手の動きと映像Ｐ２１の表示位置の動きとの対応関係を把握しやすくなり、操作性が向上する。
なお、ユーザ操作が映像Ｐ２１の空間移動からＵＩ操作又は映像Ｐ２１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図３１の状態から、図２９又は図３０の状態に変更される。
＜第７の例＞
次に、図３２乃至図３４を参照して、第７の例について説明する。
図３２の例では、空間座標系及び入力座標系は、図１６の例と同様に設定されている。
また、映像Ｐ３１が、床２Ｆに表示されている。すなわち、床２Ｆが表示面に設定されている。ＵＩ座標系のＸｕ軸は、空間座標系のＺｓ軸と平行かつ逆方向に設定されている。Ｙｕ軸は、空間座標系のＸｓ軸と平行かつ逆方向に設定されている。
この状態において、ＵＩ操作が行われる場合、図１６の例と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。従って、入力座標系におけるユーザＵ１の手の動きに対して、映像Ｐ３１内の映像コンテンツが、図１６の例と同様の動きをする。ただし、空間座標系におけるＵＩ座標系の位置及び向きが図１６の例と異なるため、空間座標系において映像Ｐ３１内の映像コンテンツの動く方向は、図１６の例と異なる。
図３２は、図３３と同様の状態において、映像Ｐ３１が所定の範囲Ｓ３１内にいて局所移動が行われる場合の例を示している。
この場合も、図１７の例と同様に、入力座標系はＵＩ操作が行われる場合と同様に設定され、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。ただし、図１７の例と比較して、空間座標系におけるＵＩ座標系の位置及び向きが異なるため、同じユーザＵ１の手の動きに対して、空間座標系において映像Ｐ３１の表示位置が動く方向が異なる。この例では、ユーザＵ１が、Ｘｉ軸の負の方向かつＹｉ軸の正の方向に手を動かすことにより、映像Ｐ３１の表示位置が、床２Ｆ上をＸｕ軸の負の方向かつＹｕ軸の正の方向に斜めに移動する例が示されている。
図３４は、図３２と同様の状態において、映像Ｐ３１の空間移動が行われる場合の例を示している。
この場合、空間座標系に応じて入力座標系が変更される。具体的には、原点の位置を変えずに、入力座標系の各軸が図３１の例と同様の方向に設定される。
そして、入力座標系のＸｉ軸と空間座標系のＸｓ軸が対応付けられ、入力座標系のＺｉ軸と空間座標系のＺｓ軸が対応付けられる。これにより、例えば、ユーザＵ１のＸｉ軸方向の手の動きが、映像Ｐ３１の表示位置のＸｓ軸方向の動きに反映され、ユーザＵ１のＺｉ軸方向の手の動きが、映像Ｐ３１の表示位置のＺｓ軸方向の動きに反映される。例えば、ユーザＵ１の手のＸｉ軸方向及びＺｉ軸方向の動きに応じて、映像Ｐ３１の表示位置が床２Ｆ上をＸｓ軸方向及びＺｓ軸方向に移動する。この例では、ユーザＵ１が、Ｘｉ軸の負の方向に手を動かすことにより、映像Ｐ３１の表示位置が、床２Ｆ上をＸｓ軸の負の方向に移動する例が示されている。
このように、ユーザ操作が行われる入力面（例えば、机３の上面）と映像Ｐ３１が表示される表示面（例えば、床２Ｆ）とが互いに平行である場合、表示面に平行な入力座標系の軸（Ｘｉ軸及びＺｉ軸）と空間座標系の軸（Ｘｓ軸及びＺｓ軸）とが対応付けられる。これにより、ユーザＵ１の手の移動方向と表示面における映像Ｐ３１の移動方向とが一致し、ユーザＵ１の手の動きに応じて、映像Ｐ３１が同じ方向に移動する。その結果、ユーザＵ１が、手の動きと映像Ｐ３１の表示位置の動きとの対応関係を把握しやすくなり、操作性が向上する。
なお、ユーザ操作が映像Ｐ３１の空間移動からＵＩ操作又は映像Ｐ１１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図３４の状態から、図３２又は図３３の状態に変更される。
＜第８の例＞
次に、図３５乃至図３７を参照して、第８の例について説明する。
図３５乃至図３７の例では、部屋３０１の室内が表示空間に設定されている。部屋３０１は、天井３０１Ｃ（不図示）、床３０１Ｆ、及び、四方の壁３０１Ｗａ乃至壁３０１Ｗｄ（ただし、壁３０１Ｗｄは不図示）により囲まれた空間である。部屋３０１の中には、机３０２が配置されている。
床３０１Ｆ、壁３０１Ｗａ、及び、壁３０１Ｗｂは、互いに直交している。一方、壁３０１Ｗｃは、壁３０１Ｗｂ及び床３０１Ｆに対して傾いている。
図３５の例では、空間座標系の原点は、壁３０１Ｗｂ、壁３０１Ｗｃ、及び、床３０１Ｆの交点に設定されている。Ｘｓ軸は、壁３０１Ｗｂが横方向に延びる方向に設定され、Ｙｓ軸は、垂直上方向に設定されている。Ｚｓ軸は、Ｘｓ軸及びＹｓ軸と直交するように設定されている。従って、Ｙｓ軸及びＺｓ軸は、壁３０１Ｗｃに対して斜めに傾いている。
また、机３０２の上面が入力面に設定されている。入力座標系のＸｉ軸は、机３０２の上面において、空間座標系のＸｓ軸と平行かつ同じ方向に設定されている。Ｙｉ軸は、机３０２の上面において、空間座標系のＺｓ軸と平行かつ逆方向に設定されている。Ｚｉ軸は、机３０２の上面に垂直な方向、すなわち、空間座標系のＹｓ軸と平行かつ同じ方向に設定されている。
さらに、壁３０１Ｗｃが表示面に設定され、映像Ｐ４１が壁３０１Ｗｃに表示されている。また、映像Ｐ４１は、各辺が壁３０１Ｗｃの各辺に平行になるように表示されている。従って、ＵＩ座標系のＸｕ軸及びＹｕ軸は、空間座標系の各軸に対して平行にならずに傾いている。
この状態においてＵＩ操作が行われる場合、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。これにより、例えば、ユーザＵ１のＸｉ軸方向の手の動きが、映像Ｐ４１内の映像コンテンツのＸｕ軸方向の動きに反映され、ユーザＵ１のＹｉ軸方向の手の動きが、映像Ｐ１内の映像コンテンツのＹｕ軸方向の動きに反映される。例えば、ユーザＵ１の手のＸｉ軸方向及びＹｉ軸方向の動きに応じて、映像Ｐ４１内の映像コンテンツがＸｕ軸方向及びＹｕ軸方向にスクロールする。
図３６は、図３５と同様の状態において、所定の範囲Ｓ４１内において映像Ｐ１の局所移動が行われる場合の例を示している。
この場合も、入力座標系はＵＩ操作が行われる場合と同様に設定され、ＵＩ操作が行われる場合と同様に、入力座標系のＸｉ軸とＵＩ座標系のＸｕ軸とが対応付けられ、入力座標系のＹｉ軸とＵＩ座標系のＹｕ軸とが対応付けられる。これにより、例えば、ユーザＵ１のＸｉ軸方向の手の動きが、映像Ｐ４１の表示位置のＸｕ軸方向の動きに反映され、ユーザＵ１のＹｉ軸方向の手の動きが、映像Ｐ１の表示位置のＹｕ軸方向の動きに反映される。例えば、ユーザＵ１の手のＸｉ軸方向及びＹｉ軸方向の動きに応じて、映像Ｐ４１の表示位置が壁３０１Ｗｃ上をＸｕ軸方向及びＹｕ軸方向に移動する。この例では、ユーザＵ１が、Ｘｉ軸の負の方向かつＹｉ軸の正の方向に手を動かすことにより、映像Ｐ４１の表示位置が、壁２Ｗｂ上をＸｕ軸の負の方向かつＹｕ軸の正の方向に斜めに移動する例が示されている。
図３７は、図３５と同様の状態において、映像Ｐ４１の空間移動が行われる場合の例を示している。
この場合、表示面である壁３０１Ｗｃに応じて空間座標系が変更される。具体的には、空間座標系の原点の位置はそのままで、空間座標系のＺｓ軸が、壁３０１Ｗｃが横方向に延びる方向に設定され、Ｙｓ軸は、壁３０１Ｗｃが縦方向に延びる方向に設定される。Ｘｓ軸は、Ｙｓ軸及びＺｓ軸と直交するように設定される。
また、空間座標系に応じて入力座標系が変更される。具体的には、入力面及び入力座標系の原点の位置はそのままで、入力座標系のＺｉ軸が、机３０２の上面において、空間座標系のＺｓ軸とできるだけ同じ方向になるように設定される。これにより、Ｚｉ軸が、表示面（壁３０１Ｗｃ）にできる限り平行になるように設定される。Ｙｉ軸は、机３の上面において、Ｚｉ軸に垂直に設定される。Ｘｉ軸は、机３の上面に垂直な方向に設定される。
そして、入力座標系のＺｉ軸と空間座標系のＺｓ軸が対応付けられ、入力座標系のＹｉ軸と空間座標系のＹｓ軸が対応付けられる。これにより、例えば、ユーザＵ１のＺｉ軸方向の手の動きが、映像Ｐ４１の表示位置のＺｓ軸方向の動きに反映され、ユーザＵ１のＹｉ軸方向の手の動きが、映像Ｐ４１の表示位置のＹｓ軸方向の動きに反映される。例えば、ユーザＵ１の手のＺｉ軸方向及びＹｉ軸方向の動きに応じて、映像Ｐ４１の表示位置が壁３０１Ｗｃ上をＺｓ軸方向及びＹｓ軸方向に移動する。この例では、ユーザＵ１が、Ｚｉ軸の正の方向に手を動かすことにより、映像Ｐ４１の表示位置が、壁３０１Ｗｃ上をＺｓ軸の正の方向に移動する例が示されている。
このように、入力面（例えば、机３０２の上面）に対して表示面（例えば、壁３０１Ｗｃ）が傾いている場合、入力座標系の少なくとも１つの軸（例えば、Ｚｉ軸）が、表示面（Ｚｓ軸）に対してできる限り平行になるように空間座標系及び入力座標系が設定される。これにより、ユーザＵ１の手のＺｉ軸方向の動きと表示面における映像Ｐ４１の移動方向とが略一致し、ユーザＵ１のＺｉ軸方向の手の動きに応じて、映像Ｐ４１が略同じ方向に移動する。その結果、ユーザＵ１が、手の動きと映像Ｐ４１の表示位置の動きとの対応関係を把握しやすくなり、操作性が向上する。
なお、ユーザ操作が映像Ｐ４１の空間移動からＵＩ操作又は映像Ｐ４１の局所移動に切り替えられる場合、入力座標系及び入力座標系と空間座標系の対応関係は、図３７の状態から、図３５又は図３６の状態に変更される。
＜＜２．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
本技術は、ユーザの手以外の操作体を用いて操作を行う場合にも適用できる。また、操作体は、ユーザの体の全部又は一部であってもよいし、ユーザの体以外の操作部材であってもよい。ユーザの体以外の操作部材は、専用の操作部材であってもよいし、一般的な物体を操作部材として用いるようにしてもよい。
また、ユーザの手以外の操作体を用いる場合、例えば、手を用いる場合と同様に、操作体の向きに基づいて入力座標系を設定するようにしてもよい。
さらに、本技術は、物理的な平面ではなく、仮想的な平面を入力面に設定する場合にも適用することができる。仮想的な平面を入力面に設定した場合、例えば、入力面上でホバー操作が行われる。
また、本技術は、表示面が曲面の場合にも適用することができる。表示面が曲面の場合には、例えば、曲面を平面に近似し、近似された平面を表示面とみなして、上述した処理が行われる。なお、例えば、円柱形の壁等の曲率が大きな曲面に映像を表示する場合、例えば、曲面を複数の平面により近似して上述した処理が行われる。
さらに、表示面と比べて小さな凹凸（例えば、柱、枠、ノブ、取っ手等）が存在する場合、例えば、それらの凹凸を無視して、表示面を１つの平面に近似するようにしてもよい。これにより、座標系の制御が容易になるとともに、入力座標系の頻繁な変更が防止され、ユーザの操作性が向上する。
また、例えば、表示空間内の壁、床、天井等の大きな面と比較して小さな物体（例えば、電化製品、小型の家具等）を無視して、表示面を大きな面に近似するようにしてもよい。これにより、座標系の制御が容易になるとともに、入力座標系の頻繁な変更が防止され、ユーザの操作性が向上する。
さらに、映像は、表示面の正面から投影されてもよいし、表示面の背面から投影されてもよい。また、例えば、表示空間内の壁等を有機ＥＬや液晶等の大型のディスプレイにより構成し、映像をディスプレイに表示させるとともに、ディスプレイ内を移動させるようにしてもよい。
また、デプスセンサ１８３の代わりに、例えば、複数のレーダ測距センサ、又は、複数のカメラを用いて、ステレオマッチング（パッシブステレオ方式）、又は、ＳｆＭ（Structure from Motion）等により表示空間モデルを生成するようにしてもよい。さらに、デプスセンサ１０１の代わりに、複数のレーダ測距センサ、又は、複数のカメラを用いるようにしてもよい。
また、例えば、ユーザが入力面にタッチする動作を、静電容量センサ等を用いて入力面側で検出するようにしてもよい。
さらに、例えば、検出装置１１に駆動機構を設けて、デプスセンサ１０１を表示空間の任意の位置に向けられるようにしてもよい。これにより、ユーザが用いることが可能な入力面の選択肢が増加する。
さらに、表示空間内に複数のユーザがいる場合、例えば、上述した方法により、ユーザ毎に入力座標系を設定したり、変更したりするようにすればよい。これにより、各ユーザが、個別にＵＩ操作、映像の局所移動、及び、映像の空間移動を行うことが可能になる。
＜＜３．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図３８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記憶部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
ユーザ操作に基づいて、入力座標系を変更する座標系設定部と、
第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う映像制御部と
を備える情報処理装置。
（２）
前記座標系設定部は、前記映像が表示される表示面に応じて、前記第２の入力座標系を設定する
前記（１）に記載の情報処理装置。
（３）
前記座標系設定部は、ユーザ操作に用いられる操作体の前記第２の入力座標系における移動方向のうち少なくとも１つと、前記表示面における前記映像の移動方向のうち少なくとも１つとを略一致させる
前記（２）に記載の情報処理装置。
（４）
前記座標系設定部は、前記表示面の変更に伴い、前記第２の入力座標系を変更する
前記（２）又は（３）に記載の情報処理装置。
（５）
前記座標系設定部は、前記映像の表示位置が第１の表示面から第２の表示面に移動した場合、前記第２の表示面に応じて、前記第２の入力座標系を変更する
前記（４）に記載の情報処理装置。
（６）
前記座標系設定部は、前記映像の表示位置が前記第１の表示面から前記第２の表示面に移動した後、前記映像の移動が停止してから前記第２の入力座標系を変更する
前記（５）に記載の情報処理装置。
（７）
前記座標系設定部は、前記表示面が曲面である場合、前記曲面を近似した平面に応じて、前記第２の入力座標系を設定する
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記映像を表示する空間の３次元モデルを生成する環境認識部を
さらに備え、
前記座標系設定部は、前記３次元モデルに基づいて、空間座標系を設定する
前記（１）に記載の情報処理装置。
（９）
前記座標系設定部は、前記空間座標系に応じて、前記第２の入力座標系を設定する
前記（８）に記載の情報処理装置。
（１０）
前記座標系設定部は、前記空間座標系の少なくとも１つの軸と、前記第２の入力座標系の少なくとも１つの軸とを略平行にする
前記（９）に記載の情報処理装置。
（１１）
前記座標系設定部は、前記映像の表示位置の移動を行う場合、前記映像が表示される表示面に応じて、前記空間座標系を設定する
前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記座標系設定部は、前記第１の入力座標系と前記第２の入力座標系とを同じ平面上に設定する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記座標系設定部は、前記第１の入力座標系の原点と前記第２の入力座標系の原点とを共通にする
前記（１２）に記載の情報処理装置。
（１４）
前記座標系設定部は、前記映像内のコンテンツの操作を行う第１のユーザ操作に対して、前記第１の入力座標系を設定し、前記映像の表示位置の移動を行う第２のユーザ操作に対して、前記第２の入力座標系を設定する
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記座標系設定部は、前記映像の表示位置を同じ表示面の所定の範囲内で移動させる第３のユーザ操作に対して、前記第１の入力座標系を設定する
前記（１４）に記載の情報処理装置。
（１６）
前記映像制御部は、前記第１の入力座標系における前記第１のユーザ操作に基づいて、前記映像内のコンテンツの制御を行い、前記第２の入力座標系における前記第２のユーザ操作に基づいて、前記映像の表示位置の制御を行う
前記（１４）又は（１５）に記載の情報処理装置。
（１７）
前記映像の表示位置の移動に用いる駆動機構を備える駆動型表示装置の前記駆動機構の制御を行う駆動制御部を
さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記座標系設定部は、ユーザ操作に用いられる操作体の向きに基づいて、前記第１の入力座標系を設定する
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置が、
ユーザ操作に基づいて、入力座標系を変更し、
第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う
情報処理方法。
（２０）
ユーザ操作に基づいて、入力座標系を変更し、
第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１ 情報処理システム， ２ 部屋， １１ 検出装置， １２ 情報処理装置， １３ 駆動型表示装置， １０１ デプスセンサ， １２２ 操作体検出部， １２３ 操作内容認識部， １２４ 環境認識部， １２５ 座標系設定部， １２６ アプリケーション制御部， １２７ 出力制御部， １４１ 空間座標系設定部， １４２ ＵＩ座標系設定部， １４３ 入力座標系設定部， １５１ 情報処理部， １５２ 映像制御部， １６１ 映像生成部， １６２ 駆動制御部， １８１ プロジェクタ， １８３ デプスセンサ， １８４ 駆動機構

Claims (20)

  1. ユーザ操作に基づいて、入力座標系を変更する座標系設定部と、
    第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う映像制御部と
    を備える情報処理装置。
  2. 前記座標系設定部は、前記映像が表示される表示面に応じて、前記第２の入力座標系を設定する
    請求項１に記載の情報処理装置。
  3. 前記座標系設定部は、ユーザ操作に用いられる操作体の前記第２の入力座標系における移動方向のうち少なくとも１つと、前記表示面における前記映像の移動方向のうち少なくとも１つとを略一致させる
    請求項２に記載の情報処理装置。
  4. 前記座標系設定部は、前記表示面の変更に伴い、前記第２の入力座標系を変更する
    請求項２に記載の情報処理装置。
  5. 前記座標系設定部は、前記映像の表示位置が第１の表示面から第２の表示面に移動した場合、前記第２の表示面に応じて、前記第２の入力座標系を変更する
    請求項４に記載の情報処理装置。
  6. 前記座標系設定部は、前記映像の表示位置が前記第１の表示面から前記第２の表示面に移動した後、前記映像の移動が停止してから前記第２の入力座標系を変更する
    請求項５に記載の情報処理装置。
  7. 前記座標系設定部は、前記表示面が曲面である場合、前記曲面を近似した平面に応じて、前記第２の入力座標系を設定する
    請求項２に記載の情報処理装置。
  8. 前記映像を表示する空間の３次元モデルを生成する環境認識部を
    さらに備え、
    前記座標系設定部は、前記３次元モデルに基づいて、空間座標系を設定する
    請求項１に記載の情報処理装置。
  9. 前記座標系設定部は、前記空間座標系に応じて、前記第２の入力座標系を設定する
    請求項８に記載の情報処理装置。
  10. 前記座標系設定部は、前記空間座標系の少なくとも１つの軸と、前記第２の入力座標系の少なくとも１つの軸とを略平行にする
    請求項９に記載の情報処理装置。
  11. 前記座標系設定部は、前記映像の表示位置の移動を行う場合、前記映像が表示される表示面に応じて、前記空間座標系を設定する
    請求項９に記載の情報処理装置。
  12. 前記座標系設定部は、前記第１の入力座標系と前記第２の入力座標系とを同じ平面上に設定する
    請求項１に記載の情報処理装置。
  13. 前記座標系設定部は、前記第１の入力座標系の原点と前記第２の入力座標系の原点とを共通にする
    請求項１２に記載の情報処理装置。
  14. 前記座標系設定部は、前記映像内のコンテンツの操作を行う第１のユーザ操作に対して、前記第１の入力座標系を設定し、前記映像の表示位置の移動を行う第２のユーザ操作に対して、前記第２の入力座標系を設定する
    請求項１に記載の情報処理装置。
  15. 前記座標系設定部は、前記映像の表示位置を同じ表示面の所定の範囲内で移動させる第３のユーザ操作に対して、前記第１の入力座標系を設定する
    請求項１４に記載の情報処理装置。
  16. 前記映像制御部は、前記第１の入力座標系における前記第１のユーザ操作に基づいて、前記映像内のコンテンツの制御を行い、前記第２の入力座標系における前記第２のユーザ操作に基づいて、前記映像の表示位置の制御を行う
    請求項１４に記載の情報処理装置。
  17. 前記映像の表示位置の移動に用いる駆動機構を備える駆動型表示装置の前記駆動機構の制御を行う駆動制御部を
    さらに備える請求項１に記載の情報処理装置。
  18. 前記座標系設定部は、ユーザ操作に用いられる操作体の向きに基づいて、前記第１の入力座標系を設定する
    請求項１に記載の情報処理装置。
  19. 情報処理装置が、
    ユーザ操作に基づいて、入力座標系を変更し、
    第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う
    情報処理方法。
  20. ユーザ操作に基づいて、入力座標系を変更し、
    第１の入力座標系に基づいて映像内のコンテンツの制御を行い、第２の入力座標系に基づいて前記映像の表示位置の制御を行う
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2019007069A 2019-01-18 2019-01-18 情報処理装置、情報処理方法、及び、記録媒体 Pending JP2022047549A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019007069A JP2022047549A (ja) 2019-01-18 2019-01-18 情報処理装置、情報処理方法、及び、記録媒体
US17/309,985 US11550430B2 (en) 2019-01-18 2019-12-27 Information processing apparatus, information processing method, and recording medium
PCT/JP2019/051426 WO2020149148A1 (ja) 2019-01-18 2019-12-27 情報処理装置、情報処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019007069A JP2022047549A (ja) 2019-01-18 2019-01-18 情報処理装置、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
JP2022047549A true JP2022047549A (ja) 2022-03-25

Family

ID=71614389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019007069A Pending JP2022047549A (ja) 2019-01-18 2019-01-18 情報処理装置、情報処理方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US11550430B2 (ja)
JP (1) JP2022047549A (ja)
WO (1) WO2020149148A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022185342A (ja) * 2021-06-02 2022-12-14 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531399B2 (en) * 2007-12-07 2013-09-10 Sony Corporation Control apparatus, input apparatus, control system, control method, and handheld apparatus
JP6262563B2 (ja) * 2014-02-21 2018-01-17 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6314672B2 (ja) * 2014-06-10 2018-04-25 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
WO2017208628A1 (ja) 2016-05-30 2017-12-07 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
DE202017104928U1 (de) 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法

Also Published As

Publication number Publication date
US20220057892A1 (en) 2022-02-24
WO2020149148A1 (ja) 2020-07-23
US11550430B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
CN110476142B (zh) 显示虚拟内容的计算设备、方法和头戴式显示器设备
US9961337B2 (en) Flexible display device and computer with sensors and control approaches
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20120268580A1 (en) Portable computing device with intelligent robotic functions and method for operating the same
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
JP5783828B2 (ja) 情報処理装置およびその制御方法
US10564420B2 (en) Midair interaction with electronic pen projection computing system
US8977396B2 (en) Mobile robotic assistant for multipurpose applications
US9958946B2 (en) Switching input rails without a release command in a natural user interface
US11886643B2 (en) Information processing apparatus and information processing method
JP2022549361A (ja) コンテンツの表示を制御する方法およびコンピュータプログラム
WO2017052521A1 (en) Image projections
WO2020149148A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2017185502A1 (zh) 一种终端及在终端上实现触觉反馈的方法、装置
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
KR102590132B1 (ko) 디스플레이 장치, 및 디스플레이 장치의 제어방법
US20210294482A1 (en) Information processing device, information processing method, and program
JP2018116346A (ja) 入力制御装置、表示装置、及び入力制御方法
US20180203661A1 (en) Information processing device, information processing method, and program
CN110928472B (zh) 物品处理方法、装置及电子设备
WO2021041428A1 (en) Method and device for sketch-based placement of virtual objects
US20220066300A1 (en) Projection unit and scanner accessories
US20150205374A1 (en) Information processing method and electronic device
JP6484914B2 (ja) 情報処理機器および操作システム
WO2023221929A1 (zh) 画面显示方法、装置、电子设备及存储介质