JP2021121878A - 情報処理装置、情報処理方法、および記録媒体 - Google Patents
情報処理装置、情報処理方法、および記録媒体 Download PDFInfo
- Publication number
- JP2021121878A JP2021121878A JP2018094440A JP2018094440A JP2021121878A JP 2021121878 A JP2021121878 A JP 2021121878A JP 2018094440 A JP2018094440 A JP 2018094440A JP 2018094440 A JP2018094440 A JP 2018094440A JP 2021121878 A JP2021121878 A JP 2021121878A
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- information processing
- projector
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】複数人に利用される表示システムにおいて、ユーザからの表示指示に対し、より適切な表示制御を行うことが可能な情報処理装置、情報処理方法、および記録媒体を提供する。【解決手段】ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して表示している現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部を備える、情報処理装置。【選択図】図1
Description
本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
近年、壁やスクリーンに映像を投影するプロジェクタに関し、パン・チルト駆動機構を搭載した駆動型プロジェクタが開発されている。プロジェクタを駆動させることで、任意の場所へ映像を投影することが可能となる。
プロジェクタ自体を駆動させる他、プロジェクタ前面にパン・チルト駆動機構を持つ鏡を配置し、鏡の反射方向を変えることで任意の場所へ映像を投影する技術も提案されている。
また、レーザポインタなどのポインティングデバイスと、ポインティング位置を観測するカメラとを組み合わせて、ユーザがポインティングした場所へ映像を表示するようプロジェクタを駆動させることも可能である。例えば下記特許文献1には、固定型プロジェクタと駆動型プロジェクタの投影領域が重なる部分において、一方のプロジェクタから他方のプロジェクタに映像の出力を切り替えるシステムについて記載されている。
しかしながら、駆動型プロジェクタが複数人に利用される場合、利用中のユーザが居ても、後から行われた他ユーザの操作により、表示場所や表示内容が切り替わってしまうことがある。
そこで、本開示では、複数人に利用される表示システムにおいて、ユーザからの表示指示に対し、より適切な表示制御を行うことが可能な情報処理装置、情報処理方法、および記録媒体を提案する。
本開示によれば、ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定することを含む、情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部として機能させるためのプログラムが記録された、記録媒体を提案する。
以上説明したように本開示によれば、複数人に利用される表示システムにおいて、ユーザからの表示指示に対し、より適切な表示制御を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
2−1.情報処理装置100の構成例
2−2.駆動プロジェクタ300の構成例
3.各実施例
3−1.第1の実施例(投影位置の算出)
3−2.第2の実施例(分割画像の表示)
(変形例1:画面を戻す制御)
(変形例2:テーブル上での表示変更)
(変形例3:複数の駆動ミラーを用いた分割投影)
3−3.第3の実施例(キャンセル操作)
3−4.第4の実施例(フィードバック)
3−5.第5の実施例(優先ルール設定)
4.応用例
5.まとめ
1.本開示の一実施形態による情報処理システムの概要
2.構成
2−1.情報処理装置100の構成例
2−2.駆動プロジェクタ300の構成例
3.各実施例
3−1.第1の実施例(投影位置の算出)
3−2.第2の実施例(分割画像の表示)
(変形例1:画面を戻す制御)
(変形例2:テーブル上での表示変更)
(変形例3:複数の駆動ミラーを用いた分割投影)
3−3.第3の実施例(キャンセル操作)
3−4.第4の実施例(フィードバック)
3−5.第5の実施例(優先ルール設定)
4.応用例
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システム1は、会議室や個人の部屋などの空間に設置され、壁やテーブル、床、天井、家具等に映像を投影する駆動プロジェクタ300と、駆動プロジェクタ300の駆動や映像投影を制御する情報処理装置100と、を有する。
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システム1は、会議室や個人の部屋などの空間に設置され、壁やテーブル、床、天井、家具等に映像を投影する駆動プロジェクタ300と、駆動プロジェクタ300の駆動や映像投影を制御する情報処理装置100と、を有する。
駆動プロジェクタ300は、パン・チルト駆動機構を搭載し、空間内の任意の場所へ映像を投影することが可能である。また、駆動プロジェクタ300は、パン・チルト駆動機構のような向きを変える駆動機構に限定されず、駆動プロジェクタ300自体が左右上下等に移動することが可能な機構を併せ持ってもよい。駆動プロジェクタ300による投影位置は、例えばユーザにより、音声(「ここに表示して」等の音声認識とユーザの顔向き等)、ジェスチャ(指差し等)、若しくは、ポインティングデバイス等の入力装置を用いて指定することが可能である。また、情報処理装置100は、ユーザの位置や姿勢を認識して自動的に投影位置を決定することも可能である。駆動プロジェクタ300は、画像を投影するプロジェクタ310と、ユーザの位置やジェスチャ、発話音声等をセンシングするためのセンサ320と、を有する。
(背景)
ここで、駆動可能なプロジェクタを用いることで空間内の様々な位置に映像を投影することができるが、このようなプロジェクタを複数人で利用する際、以下のような問題が発生する。
ここで、駆動可能なプロジェクタを用いることで空間内の様々な位置に映像を投影することができるが、このようなプロジェクタを複数人で利用する際、以下のような問題が発生する。
例えば、図2に示すように、駆動型のプロジェクタ500で第1のユーザが映像を視聴している際に、第2のユーザにより新規画面を呼び出す指示が行われると、プロジェクタ500は第2のユーザの指示に従って表示内容の切り替えや表示位置の変更を行うため、先に視聴していた第1のユーザの映像が突然消えてしまうという問題が発生する。
そこで、このような事情を鑑み、本開示による情報処理システムは、複数人に利用される表示システムにおいて、ユーザからの表示指示に対し、より適切な表示制御を行う仕組みを提案する。
例えば、本実施形態による情報処理システムは、第1のユーザが視聴中に、第2のユーザにより表示指示(「こっちにも見せて」と発話した場合等)が行われた際、両ユーザの位置に応じて、例えば図1に示すように、第1のユーザに提示していた画像20aを、両者にとって好適な位置に移動する(画像20b参照)。情報処理装置100は、表示位置が第2のユーザが指示した位置と多少ずれていたとしても、両者の視界内に表示することを優先し、両者にとって好適な表示制御を実現する。本明細書において、表示指示とは、発話音声、ジェスチャ、コントローラ等の入力装置を用いて行われ、例えば表示位置に関する情報が含まれる。表示位置に関する情報とは、ユーザによる明示的な表示位置の指定(例えば指差しや視線、ポインティングデバイスによる指定)の他、システム側においてユーザ位置に応じてユーザが視認可能な位置に表示させることも可能であるため、ユーザ位置の情報も、当該表示位置に関する情報に含まれ得る。
また、表示位置のみならず、表示内容も変更する場合(第2のユーザにより新規画面の呼び出しが行われた場合)、本実施形態による情報処理システムは、例えば画像20bを分割表示するようにしてもよい。
このように、本実施形態では、後から表示指示の操作が行われた場合も、複数ユーザの状況に応じて、より適切な表示制御を行うことを可能とする。
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
<<2.構成例>>
図3は、本開示の実施形態に係る情報処理システムの各装置の機能構成例を示すブロック図である。図3に示したように、本実施形態による情報処理システムは、情報処理装置100と、駆動プロジェクタ300と、を有する。
図3は、本開示の実施形態に係る情報処理システムの各装置の機能構成例を示すブロック図である。図3に示したように、本実施形態による情報処理システムは、情報処理装置100と、駆動プロジェクタ300と、を有する。
<2−1.情報処理装置100の構成例>
情報処理装置100は、I/F(interface)部110と、3次元空間認識部121、投影位置算出部122、およびプロジェクタ制御部123として機能する制御部120と、空間情報記憶部130と、コンテンツ記憶部140と、を有する。
情報処理装置100は、I/F(interface)部110と、3次元空間認識部121、投影位置算出部122、およびプロジェクタ制御部123として機能する制御部120と、空間情報記憶部130と、コンテンツ記憶部140と、を有する。
(I/F部110)
I/F部110は、情報処理装置100と他の機器とを接続するための接続装置である。I/F部110は、例えばUSB(Universal Serial Bus)コネクタ等により実現され、駆動プロジェクタ300の各構成要素との間で情報の入出力を行う。また、例えばI/F部110は、無線/有線LAN(Local Area Network)、DLNA(登録商標)(Digital Living Network Alliance)、Wi−Fi(登録商標)、Bluetooth(登録商標)、又はその他専用線等により駆動プロジェクタ300と接続する。また、I/F部110は、インターネットやホームネットワークを介して他の機器と接続してもよい。
I/F部110は、情報処理装置100と他の機器とを接続するための接続装置である。I/F部110は、例えばUSB(Universal Serial Bus)コネクタ等により実現され、駆動プロジェクタ300の各構成要素との間で情報の入出力を行う。また、例えばI/F部110は、無線/有線LAN(Local Area Network)、DLNA(登録商標)(Digital Living Network Alliance)、Wi−Fi(登録商標)、Bluetooth(登録商標)、又はその他専用線等により駆動プロジェクタ300と接続する。また、I/F部110は、インターネットやホームネットワークを介して他の機器と接続してもよい。
例えばI/F部110は、駆動プロジェクタ300から、駆動プロジェクタ300のセンサ320に含まれる各種センサによるセンシングデータを受信する。また、I/F部110は、プロジェクタ制御部123の制御に従って、駆動制御信号や映像、音声等の出力信号を、駆動プロジェクタ300に送信する。
(制御部120)
制御部120は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。制御部120は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部120は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
制御部120は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。制御部120は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部120は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、制御部120は、図3に示すように、3次元空間認識部121、投影位置算出部122、およびプロジェクタ制御部123として機能する。
・3次元空間認識部121
3次元空間認識部121は、センサ320に設けられた各種センサにより検出されたセンシングデータ(カメラや俯瞰カメラによる撮像画像(可視光画像、赤外線画像)、デプスセンサによる深度情報、測距センサによる距離情報、サーモセンサによる温度情報、マイクロホンによる音声情報等)に基づいて、投影環境空間(例えば、駆動プロジェクタ300が設置された部屋等)の3次元形状や、投影環境空間に存在する実物体の3次元形状や3次元位置、投影可能領域(所定の広さを有する平面領域など)、また、ユーザの3次元位置、姿勢、ジェスチャ、発話音声等を認識する。
3次元空間認識部121は、センサ320に設けられた各種センサにより検出されたセンシングデータ(カメラや俯瞰カメラによる撮像画像(可視光画像、赤外線画像)、デプスセンサによる深度情報、測距センサによる距離情報、サーモセンサによる温度情報、マイクロホンによる音声情報等)に基づいて、投影環境空間(例えば、駆動プロジェクタ300が設置された部屋等)の3次元形状や、投影環境空間に存在する実物体の3次元形状や3次元位置、投影可能領域(所定の広さを有する平面領域など)、また、ユーザの3次元位置、姿勢、ジェスチャ、発話音声等を認識する。
例えば本実施形態では、デプスセンサによるセンシングデータに基づいて投影環境空間の3次元形状を認識することを想定する。また、3次元空間認識部121は、投影環境空間の3次元形状を認識すると共に、投影環境の空間マップを生成し得る。また、3次元空間認識部121は、測距センサやカメラ複数台によるステレオマッチングによる3次元形状計測を行ってもよい。また、3次元空間認識部121は、外光や室内照明など、投影環境空間の照度を認識することも可能である。
このように3次元空間認識部121により認識された各種空間情報は、空間情報記憶部130に記憶される。
・投影位置算出部122
投影位置算出部122は、3次元空間認識部121による認識結果や、空間情報記憶部130に蓄積された空間情報に基づいて、投影位置を適宜算出し、プロジェクタ制御部123に出力する。
投影位置算出部122は、3次元空間認識部121による認識結果や、空間情報記憶部130に蓄積された空間情報に基づいて、投影位置を適宜算出し、プロジェクタ制御部123に出力する。
例えば投影位置算出部122は、ユーザによる投影指示(表示指示)に応じて、投影位置を算出する。ユーザによる投影指示は、音声、ジェスチャ、入力装置の利用等により行われることが想定される。投影位置算出部122は、ユーザにより投影指示があった場合、ユーザの位置等に応じて投影位置を算出する。
具体的には、例えば投影位置算出部122は、駆動プロジェクタ300や部屋に設けられたマイクロホンにより集音された音声データの音声認識結果に応じて、投影位置を算出する。例えば、ユーザが、「ここに表示して」、「カレンダーを見せて」、「[システム名]!」等、表示位置の変更や新規画面の呼び出し、また、エージェント名など所定のキーワードを発話した際、投影位置算出部122は、ユーザの位置、姿勢(頭部や顔の向きを含む)、視線、またはジェスチャ(指差し、手や腕の動き、頭の動き等)に応じて、適切な投影位置(3次元位置座標)を算出する。適切な投影位置とは、例えばユーザが指差している方向と投影可能領域(壁など)が直交する位置や、ユーザの近くの投影可能領域(テーブルなど)や、ユーザの視線方向と投影可能領域が直交する位置などが想定される。
また、投影位置算出部122は、ユーザが操作するポインティングデバイスに設けられたIR LED等の発光部から発光された光の輝点(壁やテーブル上の輝点)を、赤外光等を観測可能なカメラにより取得した撮像画像から検出し、投影位置としてもよい。カメラは、広視野で赤外光を観測可能な俯瞰カメラであってもよい。
なお、投影位置の指定は、投影可能領域から離れた位置からの指定に限定されず、投影可能領域へのタッチ操作などによる指定も可能である。投影位置算出部122は、デプスカメラ等から取得された情報を解析し、投影可能領域へのタッチ操作を検出し得る。
また、投影位置算出部122は、IR LEDが設けられたポインティングデバイスによる操作入力に限定されず、例えばスマートフォン等の情報処理端末から入力された投影位置の指定を認識することも可能である。ユーザは、例えばスマートフォンの画面に表示された上下左右キーを含むGUIを操作して投影位置を指定してもよいし、スマートフォンの画面に表示された投影環境空間の全天周画像を操作して投影位置を指定してもよい。
以上説明したように、投影位置算出部122は、基本的にはユーザからの投影指示に従って投影位置を算出するが、既に第1のユーザにより駆動プロジェクタ300が利用されている際に(すなわち、既に第1のユーザに対して駆動プロジェクタ300により情報提示を行っている際に)、第2のユーザにより投影指示があった場合、投影位置算出部122は、両ユーザの位置等の状況に応じて、適宜、適切な投影位置を算出する。例えば投影位置算出部122は、第1、第2のユーザが視界を共有する場合(すなわち両者が視認可能な位置がある場合)、当該視認可能な位置を投影位置として算出する。後から他ユーザにより投影指示が行われた場合における制御処理の詳細については、後述の各実施例で説明する。
また、本実施形態による情報処理システムでは、ユーザからの明示的な投影指示が無い場合であっても、アラームや受信メッセージ、おすすめ情報、カレンダーの表示、またはエージェント画像の表示等、システムが自動的(自発的)に情報提示を行うことも想定される。この場合、投影位置算出部122は、投影環境空間の認識結果から適切な投影位置を算出したり(例えば、テレビの近くなど家族の目に留まり易い場所など)、ユーザの位置や姿勢等に応じて算出したりする(例えばユーザの近くやユーザの視線方向など)。
・プロジェクタ制御部123
プロジェクタ制御部123は、投影位置算出部122により算出された投影位置に、所定の画像を投影するよう、駆動プロジェクタ300を制御する。具体的には、プロジェクタ制御部123は、駆動プロジェクタ300の駆動制御(駆動角度の制御など)と、駆動プロジェクタ300から投影する画像の生成と、スピーカ340から出力する音声信号の生成と、を行い得る。
プロジェクタ制御部123は、投影位置算出部122により算出された投影位置に、所定の画像を投影するよう、駆動プロジェクタ300を制御する。具体的には、プロジェクタ制御部123は、駆動プロジェクタ300の駆動制御(駆動角度の制御など)と、駆動プロジェクタ300から投影する画像の生成と、スピーカ340から出力する音声信号の生成と、を行い得る。
例えばプロジェクタ制御部123は、駆動する位置を指示する駆動制御信号を生成し、I/F部110から駆動プロジェクタ300に送信する。具体的には、プロジェクタ制御部123は、投影位置算出部122により算出された投影位置に画像を投影できる位置への駆動を指示する駆動制御信号を生成する。
また、プロジェクタ制御部123は、駆動プロジェクタ300のプロジェクタ310から投影する画像や、スピーカ340から出力する音声信号を生成し、I/F部110から駆動プロジェクタ300に送信する。投影する画像、音声は、エージェント画像、エージェント音声、ユーザのリクエストに応答する各種コンテンツ等が想定される。各種コンテンツは、例えば、画像(動画、静止画)や音楽、音声、テキスト等であり、コンテンツ記憶部160から取得してもよいし、I/F部110を介してネットワーク上から取得してもよい。また、コンテンツは、情報処理装置100やネットワーク上で動作するアプリケーションにより生成される各種表示画面であってもよい。
以上説明したように、プロジェクタ制御部123は、基本的には、ユーザからの投影指示に従って、駆動プロジェクタ300からの各種コンテンツの出力を制御する。ここで、例えば既に第1のユーザがコンテンツを視聴している際に、後から第2のユーザが異なるコンテンツの投影指示(すなわち新規画面の表示指示)を行った場合、プロジェクタ制御部123は、例えば画面を分割して両方のコンテンツを表示することで、複数ユーザに対してより適切な表示制御を行うことが可能となる。ここで、「新規画面」とは、既に表示している画面とは異なる画面であって、ホームメニューや、任意のアプリケーション画面、エージェントの呼び出し画面等、様々なものが想定される。画面の分割表示の詳細については、後述の実施例において説明する。
以上、本実施形態による情報処理装置100の構成について具体的に説明した。なお、情報処理装置100の構成は、図3に示す例に限定されず、例えば、情報処理装置100の少なくとも一部の構成が、サーバ等の外部装置により実現されていてもよい。
また、情報処理装置100は、スマートホーム端末、PC、スマートフォン、タブレット端末、ホームサーバ、エッジサーバ、中間サーバ、またはクラウドサーバ等により実現されてもよい。
<2−2.駆動プロジェクタ300の構成例>
続いて、本実施形態による駆動プロジェクタ300の構成例について説明する。
続いて、本実施形態による駆動プロジェクタ300の構成例について説明する。
駆動プロジェクタ300には、出力部として、プロジェクタ310と、スピーカ340とが搭載されている。また、さらに、指向性の高い超音波スピーカが搭載されていてもよい。超音波スピーカは、プロジェクタ310の投影方向と同軸上に設置するようにしてもよい。
また、駆動プロジェクタ300には、センサ320が設けられている。駆動プロジェクタ300は、各センサ320によりセンシングした情報を、情報処理装置100に出力する。センサ320は、例えば、カメラ、俯瞰カメラ、デプスセンサ、測距センサ、サーモセンサ、およびマイクロホン等であってもよい。本実施形態では、俯瞰カメラとして、視野角の広いカメラを想定し、これにより空間内におけるユーザの位置や向きを把握した上で、さらに、俯瞰カメラよりも視野角の狭い領域を注視するカメラにより、より正確に、ユーザの状況を把握することも可能である。カメラおよび俯瞰カメラは、ズームを行ったり絞りを変更したりするモードを備えていてもよい。
また、デプスセンサ、測距センサ、またはサーモセンサは、3次元空間認識部121による投影環境の3次元空間認識等に用いられることを想定する。
また、駆動プロジェクタ300は、駆動機構330を備え、任意の方向に投影したり、任意の方向をセンシングしたりできるよう、プロジェクタ310やセンサ320の向きを変更することが可能である。例えば駆動プロジェクタ300は、情報処理装置100から受信した所定の位置に映像を投影するよう、駆動機構330による駆動制御を行う。なお、本実施形態では、一例としてパン・チルトの2軸駆動機構を想定しているが、向きを変える駆動機構に限定されず、例えば左右上下等に移動可能な機構を併せ持ってもよい。また、本実施形態では、駆動プロジェクタ300自体(若しくは、少なくともプロジェクタ310やセンサ320)を駆動させる機構を想定するが、駆動機構を持つ鏡(駆動ミラー)をプロジェクタ310やセンサ320の前に設置し、鏡の向きを変えることによって投影方向やセンシング方向を変える装置であってもよい。
また、本実施形態では、図1に示すように、センサ320を、プロジェクタ310と同軸上に搭載し、かつ、駆動機構330により、プロジェクタ310と同時にセンサ320も駆動することを想定するが、本実施形態はこれに限定されず、センサ320とプロジェクタ310は異なる位置に配置されていてもよい。この場合、センサ320とプロジェクタ310との位置関係は既知である。
以上、本実施形態による駆動プロジェクタ300の構成について具体的に説明した。なお、本実施形態による駆動プロジェクタ300の構成は、図3に示す例に限定されず、例えば、センサ320やスピーカ340が、駆動プロジェクタ300と別体であってもよい。
<<3.各実施例>>
続いて、本実施形態による情報処理システムについて、複数の実施例を用いて具体的に説明する。
続いて、本実施形態による情報処理システムについて、複数の実施例を用いて具体的に説明する。
<3−1.第1の実施例(投影位置の算出)>
まず、第1の実施例として、既に第1のユーザにより駆動プロジェクタ300が利用されている際に、第2のユーザから投影指示があった場合に、両ユーザの位置などに応じて、適切な投影位置を算出する場合について、図4〜図7を参照して具体的に説明する。
まず、第1の実施例として、既に第1のユーザにより駆動プロジェクタ300が利用されている際に、第2のユーザから投影指示があった場合に、両ユーザの位置などに応じて、適切な投影位置を算出する場合について、図4〜図7を参照して具体的に説明する。
図4は、本実施例による投影位置の算出処理の流れの一例を示すフローチャートである。図4にしめすように、まず、駆動プロジェクタ300により第1のユーザに画像を投影している際に(ステップS103)、第2のユーザによる投影指示を検出した場合(ステップS106/Yes)、情報処理装置100の投影位置算出部122は、第1、第2の両ユーザが視認可能な位置に画像を投影できるか否かを判断する(ステップS109)。
第1、第2の両ユーザが視認可能な位置に画像を投影できるか否かは、例えば、センサ320によるセンシングデータに基づく、現在の両ユーザの位置、顔向き、または視線方向等に応じて判断され得る。ポインティングデバイス等の入力装置によって投影位置が指定された場合は、当該指定された投影位置に基づいて判断する。例えば、投影位置算出部122は、各ユーザの顔向き方向と投影可能領域との交差点(投影可能領域上の注視点)(若しくは、第1のユーザが最初に入力装置によって指定した投影先位置と、第2のユーザが後から入力装置によって指定した投影先位置)を全て含む範囲に画像が投影出来る場合、両ユーザが視認可能な位置に画像を投影できると判断する。なお、ユーザが顔や身体の向きを多少変えることで注視点は容易に変化するため、両ユーザの注視点をそれぞれ中心とした所定範囲が重複する場合は、両ユーザが視認可能な位置に画像を投影できると判断してもよい。
また、投影位置算出部122は、複数ユーザの視聴領域(すなわち視界範囲)を算出し、その重なりから判断を行ってもよい。図5は、視聴領域を算出して、両ユーザが視認可能な位置に画像を投影できるか否かの判断を行う場合について説明する図である。図5左に示すように、例えば投影可能領域に対するユーザの視界の角度(右端角度(R)、左端角度(L)、上端角度(T)、下端角度(B))に基づいて視聴領域200、201を算定し、重なっている場合は、両ユーザが視認可能な位置に画像を投影できると判断する。この場合、図5右に示すように、例えば重なっている領域を含む範囲を投影位置202として決定してもよい。
また、投影位置算出部122は、視聴領域の算出において、3次元的に視錐台を算出し、その重なり判定に基づいて判断してもよい。人間の視野は、実際には不規則な形状の円錐形であることを考慮し、例えば図6に示すように、前方クリップ面(Near)と、後方クリップ面(Far)との間にある立体(視錐台)を算出し、その重なり判定に基づいて、両ユーザが視認可能な位置に画像を投影できるか否かを判断してもよい。
このように、視界範囲の算出方法については様々手法があるが、投影位置算出部122は、複数ユーザの視界範囲の少なくとも一部が重なる領域がある場合、複数ユーザが視界を共有できると判断し、かかる重なり領域を含む範囲を投影位置に決定するようにしてもよい。
また、投影位置算出部122は、(厳密な)視界範囲の重なりに限定されず、例えば空間内における複数ユーザの位置、または、複数ユーザの位置と向きに基づいて、視界を共有できるか否かを判断することも可能である。図7は、部屋の中における複数ユーザの位置と向きに基づく投影位置の算出について説明する図である。
図7左に示すように、例えば第1のユーザの位置P1と(顔、頭、または身体の)向きV1、および、第2のユーザの位置P2と向きV2に基づいて、向きVが投影可能領域(壁など)と交差する領域221、222が重なる場合、両ユーザが視認可能な位置に画像を投影できると判断する。この場合、かかる重なり領域を含む範囲223を投影位置として決定される。なお、領域221、222の大きさは、予め設定した所定の大きさとしてもよい。一方、図7右に示す例では、領域225、226が重ならず、両ユーザが視認可能な位置に画像を投影することはできないと判断する。この場合、投影位置算出部122は、後述するように、後から投影指示を行った第2のユーザを優先し、領域226を投影位置に決定する。
また、投影位置算出部122は、第1のユーザが最初に入力装置によって指定した投影先位置と、第2のユーザが後から入力装置によって指定した投影先位置が、同じ投影可能領域面に含まれる場合や、両投影先位置が所定の距離内の場合などは、両ユーザが視認可能な位置に投影可能と判断してもよい。なお、一方が入力装置を用いて投影先位置を指定し、他方が音声やジェスチャにより投影先位置を指定してもよい。
次いで、両ユーザに視認可能な位置に画像が投影できないと判断した場合(ステップS109/No)、投影位置算出部122は、後から投影指示を行った第2のユーザを優先し、当該第2のユーザの投影指示に従って投影位置を算出する(ステップS112)。すなわち、投影位置算出部122は、第1のユーザの状況を考慮せず、第2のユーザの投影指示に従って適切な投影位置を算出する。
一方、両ユーザに視認可能な位置に画像を投影できると判断した場合(ステップS109/Yes)、投影位置算出部122は、両ユーザが視認可能な投影位置を算出する(ステップS115)。例えば、上述したように両ユーザの視界範囲の重なり領域を含む範囲を投影位置に決定してもよいし、両ユーザの注視点(または現在の投影位置と入力装置等により指定された投影先位置)の間(例えば中間位置)を中心とした範囲を投影位置に決定してもよい。
次に、情報処理装置100のプロジェクタ制御部123は、算出した投影位置に向けて駆動プロジェクタ300を駆動するよう制御する(ステップS118)。これにより、算出された投影位置に画像が投影される(すなわち、画像の投影位置が変更される)。
以上、複数ユーザが駆動プロジェクタ300を利用する場合の投影位置の算出について説明した。なお、図4に示す動作処理の場合、特定のユーザが特定の位置に画像を表示させたい場合、何度投影指示を行っても複数ユーザの中間位置に画像が表示されてしまうといったことが生じ得る。このような場合を考慮し、情報処理装置100の投影位置算出部122は、例えば同じ位置を2回指定された場合、2回目は指定された位置を投影位置に決定するようにしてもよい。若しくは、特定のジェスチャや、初手のキーワード(マジックワード)等を用いて強制的に投影位置を指定できるようにしてもよい。
<3−2.第2の実施例>
続いて、第2の実施例について図8〜図11を参照して説明する。上述した第1の実施例では、第2のユーザにより投影位置の移動が指示された場合について説明したが、ここでは、第2のユーザによる投影指示が投影内容の変更を伴うもの(すなわち新規画面の呼び出し)であった場合における、より適切な表示制御について説明する。
続いて、第2の実施例について図8〜図11を参照して説明する。上述した第1の実施例では、第2のユーザにより投影位置の移動が指示された場合について説明したが、ここでは、第2のユーザによる投影指示が投影内容の変更を伴うもの(すなわち新規画面の呼び出し)であった場合における、より適切な表示制御について説明する。
より具体的には、例えば図8左に示すように、第1のユーザが駆動プロジェクタ300を利用して画像230を視聴している場合に、後から第2のユーザが新規画面の呼び出しを伴う投影指示を行った場合を想定する。新規画面の呼び出しを伴う投影指示とは、画像230と異なる画面の呼び出しであって、例えば、エージェント名の呼び掛けによるエージェント画面の呼び出し等が想定される。また、ポインティングデバイス等の入力装置を用いる場合、新規画面を呼び出すか、単純に現在投影されている画像の位置を変更するかの指示は、例えば入力装置に設けられたボタンやスイッチの操作により行ってもよいし、入力装置に設けられたマイクに対して音声により入力してもよい。若しくは、入力装置に設けられたタッチパッド上でジェスチャ操作するといった別の方法で実現してもよい。
この場合、両ユーザが視界を共有できる場合であれば、図8右上に示すように、両者の間に、第1のユーザが視聴していた画像と第2のユーザが呼び出した新規画像とを含む分割画像231を表示することで、両者の要望に対応することが可能となる。
なお、両ユーザが視界を共有できない場合は、図8右下に示すように、後から操作指示を行った第2のユーザを優先し、第2のユーザが呼び出した新規画像を表示する画像234を、第2のユーザにより指定された位置に表示する。
このように、両ユーザが視界を共有できる場合であれば、後から他ユーザにより異なる画面を呼び出された場合であっても、先に視聴していたユーザは分割画面で視聴を続けることが可能となる。
以下、本実施例の動作処理について図9を参照して説明する。図9は、本実施例による分割表示を可能とする表示制御処理の流れの一例を示すフローチャートである。
図9に示すように、まず、駆動プロジェクタ300により第1のユーザに画像を投影している際に(ステップS203)、第2のユーザによる投影指示を検出した場合(ステップS206/Yes)、情報処理装置100の投影位置算出部122は、第1、第2の両ユーザが視認可能な位置に画像を投影できるか否かを判断する(ステップS209)。判断手法については、第1の実施例と同様である。第2のユーザによる投影指示は、第1の実施例と同様に、発話音声、ジェスチャ、またはポインティングデバイス等の入力装置の利用により行われてもよい。
次いで、両ユーザに視認可能な位置に画像が投影できないと判断した場合(ステップS209/No)、投影位置算出部122は、後から投影指示を行った第2のユーザを優先し、当該第2のユーザの投影指示に従って投影位置を算出する(ステップS212)。
次に、プロジェクタ制御部123は、算出した投影位置に駆動プロジェクタ300を向けるよう駆動制御信号を生成してI/F部110から駆動プロジェクタ300に送信し、プロジェクタ駆動制御を行う(ステップS215)。
次いで、第2のユーザによる投影指示が、新規画面の投影指示である場合(ステップS218/Yes)、プロジェクタ制御部123は、新規画面を第2のユーザの指示に従った投影位置に投影するよう制御する(ステップS221)。
一方、第2のユーザによる投影指示が、新規画面の投影指示ではない場合(ステップS218/No)、プロジェクタ制御部123は、元画面(上記ステップS203で既に投影していた画像)を第2のユーザの指示に従った投影位置に投影するよう制御する(ステップS224)。
なお上記ステップのうち、ステップS212〜S215と、ステップS218〜S224は、図9に示す順番で処理することに限定されず、並行に処理してもよいし、逆の順番で処理してもよい。
また、両ユーザに視認可能な位置に画像が投影できると判断した場合(ステップS209/Yes)、投影位置算出部122は、第1、第2のユーザが視認可能な投影位置を算出する(ステップS227)。算出手法の具体例は、例えば第1の実施例と同様である。
次に、プロジェクタ制御部123は、算出した投影位置に駆動プロジェクタ300を向けるよう駆動制御信号を生成してI/F部110から駆動プロジェクタ300に送信し、プロジェクタ駆動制御を行う(ステップS230)。
次いで、第2のユーザによる投影指示が、新規画面の投影指示である場合(ステップS233/Yes)、プロジェクタ制御部123は、新規画面と元画面を含む分割画像を、両者の視認可能な投影位置に投影するよう制御する(ステップS236)。
一方、第2のユーザによる投影指示が、新規画面の投影指示ではない場合(ステップS233/No)、プロジェクタ制御部123は、元画面(上記ステップS203で既に投影していた画像)を両者の視認可能な投影位置に投影するよう制御する(ステップS239)。
なお上記ステップのうち、ステップS227〜S230と、ステップS233〜S239は、図9に示す順番で処理することに限定されず、並行に処理してもよいし、逆の順番で処理してもよい。
(変形例1:画面を戻す制御)
以上説明した第1、第2の実施例では、両ユーザが視認可能ではない場合、後から操作を行った第2のユーザを優先して投影位置や投影内容が変更されるが、第2のユーザの使用が、スケジュール確認や天気予報、交通情報の確認等、比較的短時間の場合も想定される。一方、先に使用していた第1のユーザは映画やドラマなど比較的長時間のコンテンツを視聴していた場合、第2のユーザの使用がすぐに終われば、引き続きコンテンツを視聴したいといったことが想定される。
以上説明した第1、第2の実施例では、両ユーザが視認可能ではない場合、後から操作を行った第2のユーザを優先して投影位置や投影内容が変更されるが、第2のユーザの使用が、スケジュール確認や天気予報、交通情報の確認等、比較的短時間の場合も想定される。一方、先に使用していた第1のユーザは映画やドラマなど比較的長時間のコンテンツを視聴していた場合、第2のユーザの使用がすぐに終われば、引き続きコンテンツを視聴したいといったことが想定される。
情報処理装置100は、いつ誰がどのようなコンテンツを視聴しているか、若しくは、他ユーザによる操作で画面が移動させられてしまったユーザの視聴履歴等を記録しておき、適宜画面を戻す制御を可能とする。
例えば、第2のユーザの使用が終わり、第1のユーザが投影位置を戻すよう指示を行った場合、情報処理装置100は、第1のユーザが直前まで見ていたコンテンツの画面を、指示された位置に表示するよう制御する。なお、第2のユーザが見ていた画面を見たい場合も想定されるため、元画面の表示が明示的に指示された場合に、画面の復元を行うようにしてもよい。例えば、「さっき表示していた画面を表示して」といった音声による明確な指示や、ポインティングデバイスにおける特定のボタンの操作等が想定される。
また、情報処理装置100は、第2のユーザが一定時間画面を見ていない、またはインタラクションを行っていない場合、タイムアウトにより第1のユーザに画面を自動的に戻すことも可能である。若しくは、情報処理装置100は、第2のユーザが呼び出したコンテンツの内容や指示内容に応じて、一定時間で完結する割り込み作業と判断し、所定時間経過後に第1のユーザに画面を戻すようにしてもよい。具体的には、天気予報や交通情報等の特定のコンテンツの場合、一定時間で完結する割込み作業と判断してもよいし、「ちょっと時間をみせて」、「少し見せて」など、少しの時間使用できればよいことが音声から認識できた場合、一定時間で完結する割込み作業と判断してもよい。また、第2のユーザが明示的な終了処理を行った場合(例えば音声で「ありがとう」、「もう大丈夫」など。特定のジェスチャ、特定のボタン操作等)、情報処理装置100は、第1のユーザに画面を戻すようにしてもよい。
(変形例2:テーブル上での表示変更)
情報処理装置100は、複数ユーザが視界を共有できる場合の投影位置の変更に関し、視界など視野角に基づく判断に限定されず、ユーザの位置に応じて判断してもよい。例えば図10に示すように、駆動プロジェクタ300がテーブル上に画像240を投影する場合、テーブルを取り囲む複数ユーザの位置に基づいて(例えば中央に)、投影位置を変更してもよい。
情報処理装置100は、複数ユーザが視界を共有できる場合の投影位置の変更に関し、視界など視野角に基づく判断に限定されず、ユーザの位置に応じて判断してもよい。例えば図10に示すように、駆動プロジェクタ300がテーブル上に画像240を投影する場合、テーブルを取り囲む複数ユーザの位置に基づいて(例えば中央に)、投影位置を変更してもよい。
また、分割表示は、図8に示すようなside by sideに限定されず、例えば図11に示すように、駆動プロジェクタ300がテーブル上に画像242を投影する場合、テーブルを取り囲む複数ユーザの位置に応じて、画像242を任意に分割してもよい。また、情報処理装置100は、ユーザの位置に応じて、画像の天地を考慮したり、空間的な位置関係を考慮してもよい。
(変形例3:複数の駆動ミラーを用いた分割投影)
駆動プロジェクタ300は、パン・チルトで駆動するものに限定されず、パン・チルト駆動する鏡(以下、駆動ミラーと称す)をプロジェクタ前方に設置し、投影位置を任意に変更することが可能である。また、複数の駆動ミラーを用いて、プロジェクタ投影画像の一部を各駆動ミラーでそれぞれ反射させることで、複数ユーザに各々画像を提示することも可能である。以下、図12を参照して説明する。
駆動プロジェクタ300は、パン・チルトで駆動するものに限定されず、パン・チルト駆動する鏡(以下、駆動ミラーと称す)をプロジェクタ前方に設置し、投影位置を任意に変更することが可能である。また、複数の駆動ミラーを用いて、プロジェクタ投影画像の一部を各駆動ミラーでそれぞれ反射させることで、複数ユーザに各々画像を提示することも可能である。以下、図12を参照して説明する。
図12は、本変形例による複数の駆動ミラーを用いた分割表示の一例について説明する図である。図12に示すように、プロジェクタ310の前方に、複数の駆動ミラー311a、311bを配置し、プロジェクタ310から投影した投影画像245の各鏡反射領域245a、245bをそれぞれ反射させることで、異なる場所に異なる投影画像245A、245Bを表示させることが可能となる。投影画像245に含まれる各鏡反射領域245a、245bは、駆動ミラーの反射および投影場所の平面形状に応じて台形補正される。また、ここでは一例として2枚の駆動ミラーを用いたが、本変形例はこれに限定されず、3枚以上の駆動ミラーを設けて、適宜任意の位置に画像を投影するようにしてもよい。また、駆動ミラーの枚数と配置を調整し、異なる投影画像を3カ所以上に表示させることも可能である。
<3−3.第3の実施例>
次に、第3の実施例について図13〜図14を参照して説明する。本実施例では、駆動プロジェクタ300を先に利用していた第1のユーザに、第2のユーザの投影指示に応じた投影位置の変更を任意にキャンセルできる権限を与えることで、第1のユーザが意図しない表示移動を防止することを可能とする。
次に、第3の実施例について図13〜図14を参照して説明する。本実施例では、駆動プロジェクタ300を先に利用していた第1のユーザに、第2のユーザの投影指示に応じた投影位置の変更を任意にキャンセルできる権限を与えることで、第1のユーザが意図しない表示移動を防止することを可能とする。
また、情報処理装置100は、第1のユーザへのキャンセル操作の通知を、第1のユーザの状況に応じて実行するか否か決定することで、キャンセルの必要がない場合はキャンセル操作の通知を行わないようにしてもよい。これにより、迅速に第2のユーザの指示に応じて駆動プロジェクタ300を駆動制御することができ、キャンセル操作の待ち時間を発生させないようにすることができる。例えば、情報処理装置100は、後から投影指示を行った者が、先に投影指示を行った者と同一人物である場合は、キャンセル操作の通知を行わず、すぐに駆動プロジェクタ300を駆動させる。また、先に投影指示を行った者が、投影画像を見ていない、操作していない、近くに居ない等、既に駆動プロジェクタ300を利用していない状況の場合には、キャンセル操作の通知を行わず、すぐに駆動プロジェクタ300を駆動させる。
(動作処理)
本実施例によるキャンセル操作処理の流れの一例を、図13に示す。図13に示すように、まず、情報処理装置100は、ユーザからの投影位置変更指示を受け付けると(ステップS303)、プロジェクタの選択を行う(ステップS306)。投影位置変更指示は、上述したように、「ここに表示して」、「[エージェント名]!」、「カレンダーを見せて」等の発話音声や、所定のジェスチャ、また、ポインティングデバイス等の入力装置による操作入力が想定される。また、情報処理装置100は、ユーザに指示された位置に投影可能な(例えば画角、輝度等が好ましい)プロジェクタを選択する。駆動プロジェクタ300が複数ある場合、情報処理装置100は、ユーザに指示された位置に投影可能なプロジェクタを一つ選択する。
本実施例によるキャンセル操作処理の流れの一例を、図13に示す。図13に示すように、まず、情報処理装置100は、ユーザからの投影位置変更指示を受け付けると(ステップS303)、プロジェクタの選択を行う(ステップS306)。投影位置変更指示は、上述したように、「ここに表示して」、「[エージェント名]!」、「カレンダーを見せて」等の発話音声や、所定のジェスチャ、また、ポインティングデバイス等の入力装置による操作入力が想定される。また、情報処理装置100は、ユーザに指示された位置に投影可能な(例えば画角、輝度等が好ましい)プロジェクタを選択する。駆動プロジェクタ300が複数ある場合、情報処理装置100は、ユーザに指示された位置に投影可能なプロジェクタを一つ選択する。
次に、情報処理装置100は、選択したプロジェクタを使用している他ユーザが居るか否かを判断する(ステップS309)。具体的には、情報処理装置100は、選択したプロジェクタにより投影している画像を見ている(顔向きや視線方向が向いている)ユーザがいるか否かを、センサ320のカメラにより撮像された撮像画像等に基づいて判断する。また、情報処理装置100は、選択したプロジェクタにより投影している画像の近くにユーザが居るか否か、若しくは、最後に操作されてから一定時間以上経過しているか否か等に基づいて、使用中か否かを判断してもよい。
次いで、選択したプロジェクタを使用している他ユーザ(現利用者)が居る場合(ステップS309/Yes)、情報処理装置100は、当該使用中の他ユーザに、キャンセル通知画面を提示する制御を行う(ステップS312)。例えば情報処理装置100は、キャンセル通知画面を駆動プロジェクタ300により現在他ユーザが見ている投影位置に表示する。例えば、他ユーザが、駆動プロジェクタ300により投影されている映画コンテンツを見ていた場合、情報処理装置100は、当該映画コンテンツを一時停止し、当該映画コンテンツの画面上にキャンセル通知画面を表示するようにしてもよい。ここで、図14に、本実施例によるキャンセル通知画面の一例を示す。キャンセル通知画面は、例えば図14に示すように、キャンセル受付終了までのカウントダウンを示すものであってもよい。これに対し、駆動プロジェクタ300を使用中の他ユーザは、所定のキーワードの発話(「キャンセル!」など)や、ジェスチャ(机を叩く、キャンセル通知画面をタップする、など)により、キャンセル操作(割込みキャンセルを指示する操作)を行う。
次に、情報処理装置100は、所定時間が経過するまで(タイムアウトするまで)、キャンセル操作の受け付けを待つ(ステップS327)。
次いで、他ユーザによるキャンセル操作を受け付けた場合(ステップS315/Yes)、情報処理装置100は、選択したプロジェクタが使用できないため、他に候補となる(投影可能な)プロジェクタを選択する(ステップS318)。
次に、他のプロジェクタが無かった場合(ステップS318/No)、情報処理装置100は、投影位置変更ができない旨を、ユーザへフィードバックする(ステップS321)。ユーザの視覚に入る位置にプロジェクタ表示領域があれば、視覚的なフィードバックを行っても良いし、なければ音によるフィードバックを行ってもよい。また、ユーザが、ポイティングデバイス等の入力装置を把持している場合は、当該入力装置からフィードバック(音、振動、光等)を行ってもよい。
一方、他のプロジェクタが有った場合(ステップS318/Yes)、情報処理装置100は、(投影位置変更指示を行った)ユーザに、(現利用者による)キャンセル操作が発生した旨をフィードバックすると共に(ステップS324)、次のプロジェクタを選択し(ステップS306)、上記ステップS309〜S318の処理を繰り返す。
このように、キャンセル操作が行われた場合には別の投影可能なプロジェクタを探索するため、複数のプロジェクタがある場合に、複数ユーザの意図に沿った適切なプロジェクタを選択することが可能となる。ユーザは、どのプロジェクタを使用するか明示的に指示する必要がなく、操作の手間を減らすことができる。
また、現利用者によるキャンセル操作が行われずにタイムアウトした場合(ステップS327/Yes)、情報処理装置100は、選択したプロジェクタを、ユーザの投影位置変更指示に従って駆動させる制御を行う(ステップS330)。
なお、ここでは一例としてタイムアウトによりキャンセル無しの判断を行っているが、本実施例はこれに限定されず、例えばキャンセル通知画面にYes/Noの2択を表示して利用者に選択させてもよい。また、図14に示すキャンセル通知画面の構成は一例であって、本実施例はこれに限定されず、別の表現を用いてもよい。
<3−4.第4の実施例(フィードバック)>
次に、第4の実施例について説明する。本実施例では、第1のユーザが駆動プロジェクタ300を利用中に第2のユーザにより投影位置変更指示が行われた際、第1のユーザと第2のユーザのいずれを優先するかに応じて、それぞれの状況を適宜各ユーザに通知(フィードバック)する。これにより、複数人環境下におけるプロジェクタの操作を、より快適に行えるようにする。以下、図15〜図17を参照して具体的に説明する。
次に、第4の実施例について説明する。本実施例では、第1のユーザが駆動プロジェクタ300を利用中に第2のユーザにより投影位置変更指示が行われた際、第1のユーザと第2のユーザのいずれを優先するかに応じて、それぞれの状況を適宜各ユーザに通知(フィードバック)する。これにより、複数人環境下におけるプロジェクタの操作を、より快適に行えるようにする。以下、図15〜図17を参照して具体的に説明する。
(先行者優先)
図15は、先行者優先時におけるフィードバックについて説明する図である。図15には、操作の有無、プロジェクタの制御、第1のユーザ(先行者)へのフィードバック(FB)、および第2のユーザ(後行者)へのFBのタイミングについて時系列で示している。
図15は、先行者優先時におけるフィードバックについて説明する図である。図15には、操作の有無、プロジェクタの制御、第1のユーザ(先行者)へのフィードバック(FB)、および第2のユーザ(後行者)へのFBのタイミングについて時系列で示している。
本明細書において、「先行者優先」とは、先にプロジェクタを操作(利用)していた人が優先的に当該プロジェクタを利用できることを意味する。情報処理装置100は、先行者優先に設定されている場合、あるユーザが駆動プロジェクタ300を利用してから(例えば映画コンテンツを視聴するなど)一定時間は、そのユーザ(先行者)が優先的に駆動プロジェクタ300を利用できるようにする。従って、後から他のユーザ(後行者)が操作入力を行っても(例えば、「ここにカレンダーを表示して」、「こっちに見せて」等の投影変更指示など)、その操作を無効とする。この場合、後行者は、なぜ操作が無効となったのかわからず困惑する場合がある。そこで、情報処理装置100は、図15にも示すように、後から操作したユーザ(後行者;第2のユーザ)に、今操作できないことをフィードバックする。第2のユーザへのフィードバックは、第2のユーザの視野に映像を投影できるプロジェクタが他にあれば視覚的なフィードバックを行ってもよいし、なければ音でフィードバックを行う。また、第2のユーザが、ポインティングデバイス等の入力装置を利用している場合は、当該入力装置から振動、光、音等のフィードバックを行ってもよい。
また、図15に示すように、他のユーザにより操作が行われたことを、先行者(第1のユーザ)にフィードバックしてもよい。例えば、第1のユーザにはプロジェクタが割り振られているため、当該プロジェクタによる映像でフィードバックでもよいし、音によるフィードバックを行ってもよい。
このように、第1、第2のユーザにそれぞれ状況を通知することで、第1、第2のユーザ間の意思疎通を図ることができ、ユーザ間の対話を通じたプロジェクタ操作が実現される。例えば、先行者は操作権の破棄と譲渡を行うことができ、所定の音声発話、ジェスチャ、UIに対するタッチ操作、入力装置のボタン操作等により、後行者に操作権を渡すことが可能である。
(後行者優先)
図16は、後行者優先時におけるフィードバックについて説明する図である。図16には、操作の有無、プロジェクタの制御、第1のユーザ(先行者)へのFB、および第2のユーザ(後行者)へのFBのタイミングについて時系列で示している。
図16は、後行者優先時におけるフィードバックについて説明する図である。図16には、操作の有無、プロジェクタの制御、第1のユーザ(先行者)へのFB、および第2のユーザ(後行者)へのFBのタイミングについて時系列で示している。
本明細書において、「後行者優先」とは、先にプロジェクタを操作(利用)している人がいる場合でも、後から操作を行った人が優先的に当該プロジェクタを利用できること(操作権を取得することができること)を意味する。情報処理装置100は、後行者優先に設定されている場合、あるユーザが駆動プロジェクタ300を利用していても、後から他のユーザにより投影先変更指示が行われた場合、指示に従って投影先の変更を行うよう駆動プロジェクタ300の駆動等を制御する。なお、上述した第1、第2の実施例では、両ユーザが視認可能な投影位置がない場合に、後行者の投影先変更指示に従って駆動プロジェクタ300を駆動するため、一部に後行者優先を採用していると言える。
情報処理装置100は、図16に示すように、後行者である第2のユーザから操作があった場合、第2のユーザの操作に応じてプロジェクタを駆動し、第2のユーザに画像を提示する。この際、情報処理装置100は、先にプロジェクタを利用し、第2のユーザに取られてしまった第1のユーザに対しては、第2のユーザが操作を行ったため、表示が移動したことを通知する。かかる通知は、表示を移動する前に、プロジェクタで第1のユーザに提示してもよい。
一方、第2のユーザに対しては第1のユーザが操作(使用)していたことを通知してもよい。第2のユーザへの通知は、表示を移動させた後に、プロジェクタで提示してもよい。
(共有優先)
図17は、共有優先時におけるフィードバックについて説明する図である。図17には、操作の有無、プロジェクタの制御、第1のユーザ(先行者)へのフィードバック(FB)、および第2のユーザ(後行者)へのFBのタイミングについて時系列で示している。
図17は、共有優先時におけるフィードバックについて説明する図である。図17には、操作の有無、プロジェクタの制御、第1のユーザ(先行者)へのフィードバック(FB)、および第2のユーザ(後行者)へのFBのタイミングについて時系列で示している。
本明細書において、「共有優先」とは、第1、第2の実施例で説明したように、先にプロジェクタを操作(利用)している人がいる状況において、後から当該プロジェクタを操作する人が現れた場合に、両ユーザが視認可能な場所に画像を投影し、当該プロジェクタを共有させることを意味する。
情報処理装置100は、図17に示すように、第1のユーザの操作に応じてプロジェクタによる表示を行っている際に、第2のユーザから操作があった場合、第1、第2のユーザが視認可能な位置に表示するようプロジェクタを駆動制御する。この際、情報処理装置100は、第1のユーザに対しては、第2のユーザが操作したことを通知し、第2のユーザには、第1のユーザが操作(利用)していたことを通知する。これらの通知は、いずれも、例えば表示を移動させた後にプロジェクタで提示することが可能である。
<3−5.第5の実施例(優先ルール設定)>
続いて、第5の実施例について説明する。上記第4の実施例において、先行者優先、後行者優先、および共有優先についてそれぞれ説明したが、本実施形態は、これらの優先ルールのうち、少なくともいずれかを適用するよう予め決定していてもよいし、状況に応じて適宜決定するようにしてもよい。例えば情報処理装置100は、先行者が見ているコンテンツ(プロジェクタにより投影しているコンテンツ)や、後行者がリクエストしたコンテンツ(新規画面の呼び出し)に応じて、適切な優先ルールを適宜設定する。より具体的には、例えば通常は後行者優先に設定し、先行者に映画等のコンテンツ(他のユーザに容易に操作権を取られることは好ましくないコンテンツ)を提示している場合は、先行者優先に設定する。
続いて、第5の実施例について説明する。上記第4の実施例において、先行者優先、後行者優先、および共有優先についてそれぞれ説明したが、本実施形態は、これらの優先ルールのうち、少なくともいずれかを適用するよう予め決定していてもよいし、状況に応じて適宜決定するようにしてもよい。例えば情報処理装置100は、先行者が見ているコンテンツ(プロジェクタにより投影しているコンテンツ)や、後行者がリクエストしたコンテンツ(新規画面の呼び出し)に応じて、適切な優先ルールを適宜設定する。より具体的には、例えば通常は後行者優先に設定し、先行者に映画等のコンテンツ(他のユーザに容易に操作権を取られることは好ましくないコンテンツ)を提示している場合は、先行者優先に設定する。
(動作処理)
このような本実施例による動作処理について、図18を参照して具体的に説明する。図18は、本実施例による駆動制御処理の流れの一例を示すフローチャートである。
このような本実施例による動作処理について、図18を参照して具体的に説明する。図18は、本実施例による駆動制御処理の流れの一例を示すフローチャートである。
図18に示すように、まず、情報処理装置100は、投影先変更指示を検出した場合(ステップS403/Yes)、強制的な投影先変更指示であるか否かを判断する(ステップS406)。強制的な投影先変更とは、例えば、所定のキーワード(マジックワード)の発話や、特定のジェスチャ、また、入力装置のボタン等により可能であり、指定した位置に強制的にプロジェクタを移動させる例外的な操作を指す。
次に、強制的な投影先変更指示ではない場合(ステップS406/No)、情報処理装置100は、優先ルールの設定を行う(ステップS409)。例えば情報処理装置100は、先にプロジェクタを利用しているユーザが、映画視聴等、他のユーザに容易に取られるのが好ましくないコンテンツを提示している場合は「先行者優先」を設定し、そのようなコンテンツ以外を提示している場合は、「後行者優先」または「共有優先」を設定する。「共有優先」は、例えば後行者の投影指示が位置変更のみであり、新規画面の呼び出し(画面の切り替え)ではない場合に設定するようにしてもよいし、両者が比較的に近くに位置している場合など、両者が視認可能な投影位置がある可能性が高い状況の場合に設定するようにしてもよい。また、情報処理装置100は、「先行者優先」または「共有優先」が適切な状況ではない場合に、「後行者優先」を設定するようにしてもよい。また、情報処理装置100は、部屋に一人しかいない場合など、プロジェクタを利用する者が一人であると推定できる場合、「後行者優先」を設定するようにしてもよい(先行と同一の者による指示となり、迅速に駆動させることが好ましいため)。
次いで、「先行者優先」に設定した場合(ステップS409/先行者優先)、情報処理装置100は、後行者に対して、操作がキャンセルされたことを通知(フィードバック)し、処理を終了する(ステップS412)。
また、「共有優先」に設定した場合(ステップS409/共有優先)、情報処理装置100は、両者が視認可能な位置に投影できるか否かを判断する(ステップS415)。
また、「後行者優先」に設定した場合(ステップS409/後行者優先)、または、「共有優先」に設定されたが両者が視認可能な位置に投影できないと判断された場合(ステップS415/No)、情報処理装置100は、後行者の指示に従って投影位置を算出する(ステップS418)。なお、強制的な投影先変更指示である場合(ステップS406/Yes)も同様に、情報処理装置100は、後行者の指示に従って投影位置を算出する。
一方、「共有優先」に設定され、両者が視認可能な位置に投影できると判断された場合(ステップS415/Yes)、情報処理装置100は、両者が視認可能な投影位置を算出する(ステップS421)。
続いて、情報処理装置100は、算出した投影位置に投影可能なプロジェクタがある否かを判断する(ステップS424)。
次に、算出した投影位置に投影可能なプロジェクタがある場合(ステップS424/Yes)、情報処理装置100は、選定したプロジェクタによる投影画像を現在見ている人(すなわち、利用している人)がいるか否かを判断する(ステップS427)。利用している人がいるか否かの判断処理は、例えば図13のステップS309で示す判断処理と同様である。
次いで、選定したプロジェクタによる投影画像を現在見ている人がいる場合(ステップS427/Yes)、情報処理装置100は、現在使用中のユーザに対してキャンセル受付処理を行うか否かを判断する(ステップS430)。キャンセル操作処理とは、第3の実施例を参照して説明した内容と同様であり、情報処理装置100は、後行者による操作に基づく表示の移動をキャンセルさせる時間を先行者に与えるか否かを判断する。情報処理装置100は、例えば状況に応じてキャンセル受付処理を行うか否かを判断する。具体的には、例えばユーザ同士が隣り合っていたり、距離が近い場合などユーザ間で投影変更に関する何らかの話し合いが既に持たれていると想定できる場合、または、ユーザ間で既に投影変更の合意が取られていることをユーザ間の会話を音声認識して把握できている場合、若しくは、先行者が子供など所定の対象外の人物である場合等は、キャンセル受付処理を行わず、それ以外の場合は、キャンセル受付処理を行うと判断してもよい。
また、部屋に一人しかいない場合など、一人で複数のプロジェクタを操作している状況の場合は、キャンセル受付処理を行わないと判断してもよいし、ユーザが複数のプロジェクタ全てを利用(注視)している場合、適切なプロジェクタ(ユーザが利用を中止してもよいと思っているコンテンツを投影しているプロジェクタ)を選択するため、キャンセル受付処理を行うようにしてもよい。
次に、キャンセル受付処理を行うと判断し(ステップS430/Yes)、先行者にキャンセル通知画面を提示し(図14参照)、キャンセル操作が行われた場合(ステップS433/Yes)、情報処理装置100は、他に候補となるプロジェクタを探す(ステップS436)。
そして、他に候補となるプロジェクタがない場合(ステップS436/No)、または、上記ステップS424で、算出した投影位置に投影可能なプロジェクタがない場合(ステップS424/No)、投影変更できない旨を後行者に通知する(ステップS439)。
一方、他に候補となるプロジェクタがある場合(ステップS436/Yes)、情報処理装置100は、操作がキャンセルされたことを後行者に通知すると共に(ステップS442)、次のプロジェクタを選択し、上記ステップS424以降の処理を繰り返す。
また、キャンセル操作を受け付けなかった場合(すなわち先行者によるキャンセル操作が行われなかった場合)(ステップS433/No)、また、上記ステップS427で選定したプロジェクタによる投影画像を現在見ている人がいなかった場合(ステップS427/No)、若しくは、上記ステップS430でキャンセル受付処理を行わないと判断された場合(ステップS430/No)、情報処理装置100は、上記ステップS418やS421でそれぞれ算出した投影位置に向けてプロジェクタを駆動させる制御を行う(ステップS445)。
<<4.応用例>>
以上説明した実施形態では、駆動プロジェクタ300を用いた画像表示について説明しているが、本実施形態はこれに限定されず、例えば、眼鏡型のシースルーHMDのように、他の表示デバイスを用いた画像表示に適用してもよい。例えば、複数人が眼鏡型のシースルーHMDを装着して実空間に重畳表示されるARコンテンツを共有している状況において、ARコンテンツの表示位置の変更指示が行われた場合に本実施形態を適用し得る。具体的には、例えばARコンテンツの表示位置の変更指示が行われた場合、先に当該ARコンテンツを利用(操作、視聴等)していた第1のユーザと、変更指示を行った第2のユーザとが視認可能な位置(2人の間等、複数人に好適な位置)に移動するようにしてもよい。また、他の表示デバイスとしては、例えば移動型のディスプレイ付きロボットも想定される。具体的には、例えばディスプレイ付きロボットの位置の変更指示が行われた場合、先に当該ロボットを利用(操作、視聴等)していた第1のユーザと、変更指示を行った第2のユーザとが視認可能な位置(2人の間等、複数人に好適な位置)に移動するようにしてもよい。
以上説明した実施形態では、駆動プロジェクタ300を用いた画像表示について説明しているが、本実施形態はこれに限定されず、例えば、眼鏡型のシースルーHMDのように、他の表示デバイスを用いた画像表示に適用してもよい。例えば、複数人が眼鏡型のシースルーHMDを装着して実空間に重畳表示されるARコンテンツを共有している状況において、ARコンテンツの表示位置の変更指示が行われた場合に本実施形態を適用し得る。具体的には、例えばARコンテンツの表示位置の変更指示が行われた場合、先に当該ARコンテンツを利用(操作、視聴等)していた第1のユーザと、変更指示を行った第2のユーザとが視認可能な位置(2人の間等、複数人に好適な位置)に移動するようにしてもよい。また、他の表示デバイスとしては、例えば移動型のディスプレイ付きロボットも想定される。具体的には、例えばディスプレイ付きロボットの位置の変更指示が行われた場合、先に当該ロボットを利用(操作、視聴等)していた第1のユーザと、変更指示を行った第2のユーザとが視認可能な位置(2人の間等、複数人に好適な位置)に移動するようにしてもよい。
また、本実施形態は、表示位置の移動に伴って、スピーカや、音源定位位置を移動させることも可能である。スピーカは、駆動プロジェクタ300に設けられていてもよいし、別体であってもよい。また、スピーカは、音を定位させることが可能な超音波スピーカであってもよく、表示位置が複数人に好適な位置に移動された際、複数人にとって好適な位置に音を定位させることが可能である。
また、上述した実施形態では、ユーザの位置等に応じて、投影位置を決定しているが、本実施形態はこれに限定されず、例えば複数の投影位置を事前にプリセットで決定しておき、ユーザの位置等に応じて、これら事前に用意した複数の投影位置から選択するようにしてもよい。また、ユーザがよく利用する投影位置がある場合、ユーザの位置に応じてそのようなよく利用する投影位置に決定するようにしてもよい。例えば、ユーザがソファーに座っている場合はテレビの上を投影位置とすることが多い場合、ユーザがソファーに座っている状態で「カレンダーを見せて」等の投影指示を行った際、情報処理装置100は、テレビの上を投影位置に決定する。
また、情報処理装置100は、複数人に好適な位置に映像を表示する代わりに、ユーザに移動を促して、結果的に複数人に好適な位置に映像を表示するようにしてもよい。この際、情報処理装置100は、一人を移動させてもよいし、例えば、ダイニングテーブルなど複数人で見やすい場所(例えば画角を大きく出来そうな場所)に表示して、室内の人をダイニングテーブルに移動するように促してもよい。
また、情報処理装置100は、後から操作した人が指示した投影位置や、複数人が視認可能な位置が、投影に適さない場合(例えば明るすぎる場所や平面ではない場所、ドアなど人の出入りがある場所等、投影環境が好ましくない場所)、その場所を避けて表示するようにしてもよい。
また、情報処理装置100は、分割表示を行う場合、コンテンツに応じて分割比率を変えてもよい。例えば、エージェントを呼び出すだけであれば、元のコンテンツは大きく表示し、エージェントの画像は隅に小さく表示するようにしてもよい。
また、情報処理装置100は、複数人にとって好適な位置に映像を表示できない場合、若しくは、後から指定した人がプロジェクタ以外の表示デバイスを利用できる場合、プロジェクタ以外の表示デバイスに映像を表示するようにしてもよい。例えば、後から投影位置の変更を指示した人の近くに、テレビやスマートフォン等がある場合、それらの表示デバイスにコンテンツを表示するようにしてもよい(この場合、元のコンテンツの投影位置は変更しない)。
また、複数人にとって好適な位置に分割表示している際に、そのうちの一人がいなくなった場合、情報処理装置100は、分割を解除して、まだ残っている人にとって好適なコンテンツの比率を大きくするようにしてもよい。
また、ユーザ間の同意があれば、画面分割やフルスクリーンなどを切り替えてもよい。
また、事前にユーザ間に重みをつけてもよい。例えば、親と子供であれば親の方の重みを強くすることで、大人と子供がいる場合に、大人よりの位置に映像を投影するようにしたり、分割表示の際に大人が見ているコンテンツの方の分割比率を大きくするようにすることができる。また、小さな子供や来客など、プロジェクタの操作者となりえない対象者は重みを0として、これらの者の位置や操作は、システムに反映しないようにしてもよい。
また、投影位置の指示は、手で触れられるオブジェクト(実物体)を用いて行ってもよい。例えばユーザがテーブルに所定のオブジェクトを置いた場合、テーブル(さらにはオブジェクトの近く)に表示(投影)するようにしてもよいし、ユーザが当該オブジェクトを別の人に手渡し、別の場所に置かれた場合、その置かれた場所に表示するようにしてもよい。
また、投影場所が移動された他のコンテンツが表示された場合であっても、元の表示位置に戻した場合、元のコンテンツが表示されるようにしてもよい。
また、操作者の属性に応じて適宜処理を変更してもよい。例えば高齢者が利用している場合、キャンセルの待ち時間(カウントダウン)を長くするようにしてもよい。
また、操作者の状態に応じて適宜処理を変更してもよい。例えばユーザが投影画像に視線を向けていない場合(少し目を離している場合など)、キャンセルの待ち時間を長くするようにしてもよい。また、操作に慣れているユーザの場合、キャンセルの待ち時間を短くするようにしてもよい。
また、先行者優先ルールは、映画以外のコンテンツに適用してもよい。例えば、パスワード入力やメッセージの作成のように、文字を入力している場合や、通話を行っている場合、先行者優先ルールを適用するようにしてもよい。
また、明示的に、表示画像の移動を禁止する操作が行われた場合、先行者優先ルールを適用するようにしてもよい。
また、時間帯によって適宜処理を変えてもよい。例えば、夜の場合、子供には操作権を渡さないようにしたり、大人による操作を優先する大人優先ルールを適用するようにしてもよい。
また、本実施形態によるプロジェクタが、駆動ミラー(ガルバノミラー)を用いて、時分割方式により複数個所に同時に投影を行うことが可能な構成を有する場合、移動元の画面と移動先の画面とのduty比を変えることで、表示内容のプライオリティを変えることが可能である。図19に、駆動ミラーを用いて時分割方式により複数個所に同時に映像を投影するプロジェクタを用いた場合について説明する図を示す。図19に示すように、例えば駆動ミラー312a、312bを高速で駆動させると共に、表示映像を切り替えることで、テーブル上と壁といった複数の個所に異なる映像を投影することが可能となる。この際、情報処理装置100は、例えば第1のユーザに対して画像250を表示している際に、第2のユーザによる投影位置の変更(壁への表示)が指示された場合、画像250の明るさを徐々に下げると共に、第2のユーザに対して表示する画像252の明るさを徐々に上げるよう制御してもよい(明るさの制御は、例えば時分割の割り当てにより調整可能である)。また、情報処理装置100は、画像250にキャンセル通知画面を表示し、第1のユーザによるキャンセル操作待ち時間の間、第2のユーザに対しては、薄く画像252を表示させておくことで、待ち時間の間も第2のユーザに対して操作のフィードバック(投影位置変更操作がシステム側できちんと認識されていること)を提示することが可能となる。
また、キャンセル操作に関し、上述した実施形態では、キャンセル通知画面を表示しているが、本実施形態はこれに限定されず、例えば、第2のユーザにより投影変更指示があった際に、表示画像は移動先に遷移させた上で、先に操作していた第1のユーザに対しては、音によりキャンセル操作のカウントダウンを通知するようにしてもよい。キャンセル通知の音声は、例えば指向性スピーカを用いて、移動前の表示位置に音源定位させてもよい。情報処理装置100は、音声やジェスチャ等によりキャンセル操作が行われた場合は、表示画像を元の位置に戻すようプロジェクタを制御する。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、複数人に利用される表示システムにおいて、ユーザからの表示指示に対し、より適切な表示制御を行うことが可能となる。
上述したように、本開示の実施形態による情報処理システムでは、複数人に利用される表示システムにおいて、ユーザからの表示指示に対し、より適切な表示制御を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置100、または駆動プロジェクタ300に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置100、または駆動プロジェクタ300の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部を備える、情報処理装置。
(2)
前記現在の表示状況は、表示位置または表示内容を含む、前記(1)に記載の情報処理装置。
(3)
前記制御部は、
前記ユーザからの表示指示が、前記現在の表示位置の移動である場合、前記ユーザと前記他のユーザとが視認可能な領域に表示位置を移動させる制御を行う、前記(1)または前記(2)に記載の情報処理装置。
(4)
前記制御部は、
前記ユーザの位置と前記他のユーザの位置に基づいて、前記視認可能な領域を判断する、前記(3)に記載の情報処理装置。
(5)
前記制御部は、
さらに、前記ユーザの向きと前記他のユーザの向きを考慮して、前記視認可能な領域を判断する、前記(4)に記載の情報処理装置。
(6)
前記制御部は、
前記ユーザの視界範囲と前記他のユーザの視界範囲の重なりに基づいて、前記視認可能な領域を判断する、前記(3)に記載の情報処理装置。
(7)
前記制御部は、
前記現在の表示位置と、前記ユーザからの表示指示に応じた表示位置との間に、表示位置を移動させる制御を行う、前記(2)に記載の情報処理装置。
(8)
前記制御部は、
前記ユーザからの表示指示が、前記現在の表示内容の変更である場合、前記ユーザと前記他のユーザとが視認可能な領域に表示位置を移動させると共に、前記現在の表示内容と前記ユーザからの表示指示に応じた表示内容とを含む分割画面を表示する制御を行う、前記(2)〜前記(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記ユーザと前記他のユーザとが視認可能な領域が無い場合、前記ユーザからの表示指示に応じた表示位置に表示位置を移動させると共に、前記ユーザからの表示指示に応じた表示内容を表示する制御を行う、前記(2)〜前記(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、
前記ユーザからの表示指示に応じて表示位置および表示内容を変更した後、所定のタイミングで、表示位置および表示内容を元に戻す処理を行う、前記(3)〜前記(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、
前記ユーザからの表示指示に応じて表示位置を変更する際、前記他のユーザにキャンセル操作の通知を行う、前記(1)〜前記(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
前記他のユーザによりキャンセル操作が行われた際、前記表示位置の変更を中止する、前記(11)に記載の情報処理装置。
(13)
前記制御部は、
前記表示位置の変更を中止した際、前記ユーザからの表示指示に対応する他の表示装置を探索する、前記(12)に記載の情報処理装置。
(14)
前記制御部は、
前記ユーザからの表示指示に応じて表示位置を移動させた際、前記他のユーザに対して表示移動を通知する、前記(1)〜前記(13)のいずれか1項に記載の情報処理装置。
(15)
前記制御部は
前記ユーザからの表示指示に対し、前記他のユーザを優先して表示を継続する場合、前記ユーザに対して、操作を受け付けることができない旨を通知する、前記(1)〜前記(13)のいずれか1項に記載の情報処理装置。
(16)
前記制御部は、
後から指示を行った前記ユーザを優先する表示制御と、
先に視聴していた前記他のユーザを優先する表示制御と、
前記ユーザと前記他のユーザの共有を優先する表示制御と、
の少なくともいずれかを、前記現在の表示状況に応じて設定する、前記(1)〜前記(15)のいずれか1項に記載の情報処理装置。
(17)
前記制御部は、
前記現在の表示内容のコンテンツ種別に応じて、前記設定を行う、前記(16)に記載の情報処理装置。
(18)
前記制御部は、
駆動プロジェクタによる表示制御を行う、前記(1)〜前記(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサが、
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定することを含む、情報処理方法。
(20)
コンピュータを、
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部として機能させるためのプログラムが記録された、記録媒体。
(21)
ユーザからの表示指示を検出した際、既に提示している表示を視聴している他のユーザに対して、キャンセル操作の通知を行う制御部を備える、情報処理装置。
(22)
前記制御部は、
前記他のユーザが前記表示を注視していない場合、または、前記他のユーザが前記表示の近くに居ない場合、前記キャンセル操作の通知を行わず、前記ユーザからの前記表示指示に応じて、表示位置の移動を行う、前記(21)に記載の情報処理装置。
(23)
前記制御部は、
前記他のユーザがキャンセル操作を行わなかった場合、前記ユーザからの前記表示指示に応じて、表示位置の移動を行う、前記(21)に記載の情報処理装置。
(24)
前記制御部は、
前記他のユーザがキャンセル操作を行った場合、前記他のユーザへの表示提示を継続すると共に、前記ユーザに対し、操作を受け付けることができない旨を通知する、前記(21)に記載の情報処理装置。
(1)
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部を備える、情報処理装置。
(2)
前記現在の表示状況は、表示位置または表示内容を含む、前記(1)に記載の情報処理装置。
(3)
前記制御部は、
前記ユーザからの表示指示が、前記現在の表示位置の移動である場合、前記ユーザと前記他のユーザとが視認可能な領域に表示位置を移動させる制御を行う、前記(1)または前記(2)に記載の情報処理装置。
(4)
前記制御部は、
前記ユーザの位置と前記他のユーザの位置に基づいて、前記視認可能な領域を判断する、前記(3)に記載の情報処理装置。
(5)
前記制御部は、
さらに、前記ユーザの向きと前記他のユーザの向きを考慮して、前記視認可能な領域を判断する、前記(4)に記載の情報処理装置。
(6)
前記制御部は、
前記ユーザの視界範囲と前記他のユーザの視界範囲の重なりに基づいて、前記視認可能な領域を判断する、前記(3)に記載の情報処理装置。
(7)
前記制御部は、
前記現在の表示位置と、前記ユーザからの表示指示に応じた表示位置との間に、表示位置を移動させる制御を行う、前記(2)に記載の情報処理装置。
(8)
前記制御部は、
前記ユーザからの表示指示が、前記現在の表示内容の変更である場合、前記ユーザと前記他のユーザとが視認可能な領域に表示位置を移動させると共に、前記現在の表示内容と前記ユーザからの表示指示に応じた表示内容とを含む分割画面を表示する制御を行う、前記(2)〜前記(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記ユーザと前記他のユーザとが視認可能な領域が無い場合、前記ユーザからの表示指示に応じた表示位置に表示位置を移動させると共に、前記ユーザからの表示指示に応じた表示内容を表示する制御を行う、前記(2)〜前記(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、
前記ユーザからの表示指示に応じて表示位置および表示内容を変更した後、所定のタイミングで、表示位置および表示内容を元に戻す処理を行う、前記(3)〜前記(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、
前記ユーザからの表示指示に応じて表示位置を変更する際、前記他のユーザにキャンセル操作の通知を行う、前記(1)〜前記(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
前記他のユーザによりキャンセル操作が行われた際、前記表示位置の変更を中止する、前記(11)に記載の情報処理装置。
(13)
前記制御部は、
前記表示位置の変更を中止した際、前記ユーザからの表示指示に対応する他の表示装置を探索する、前記(12)に記載の情報処理装置。
(14)
前記制御部は、
前記ユーザからの表示指示に応じて表示位置を移動させた際、前記他のユーザに対して表示移動を通知する、前記(1)〜前記(13)のいずれか1項に記載の情報処理装置。
(15)
前記制御部は
前記ユーザからの表示指示に対し、前記他のユーザを優先して表示を継続する場合、前記ユーザに対して、操作を受け付けることができない旨を通知する、前記(1)〜前記(13)のいずれか1項に記載の情報処理装置。
(16)
前記制御部は、
後から指示を行った前記ユーザを優先する表示制御と、
先に視聴していた前記他のユーザを優先する表示制御と、
前記ユーザと前記他のユーザの共有を優先する表示制御と、
の少なくともいずれかを、前記現在の表示状況に応じて設定する、前記(1)〜前記(15)のいずれか1項に記載の情報処理装置。
(17)
前記制御部は、
前記現在の表示内容のコンテンツ種別に応じて、前記設定を行う、前記(16)に記載の情報処理装置。
(18)
前記制御部は、
駆動プロジェクタによる表示制御を行う、前記(1)〜前記(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサが、
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定することを含む、情報処理方法。
(20)
コンピュータを、
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部として機能させるためのプログラムが記録された、記録媒体。
(21)
ユーザからの表示指示を検出した際、既に提示している表示を視聴している他のユーザに対して、キャンセル操作の通知を行う制御部を備える、情報処理装置。
(22)
前記制御部は、
前記他のユーザが前記表示を注視していない場合、または、前記他のユーザが前記表示の近くに居ない場合、前記キャンセル操作の通知を行わず、前記ユーザからの前記表示指示に応じて、表示位置の移動を行う、前記(21)に記載の情報処理装置。
(23)
前記制御部は、
前記他のユーザがキャンセル操作を行わなかった場合、前記ユーザからの前記表示指示に応じて、表示位置の移動を行う、前記(21)に記載の情報処理装置。
(24)
前記制御部は、
前記他のユーザがキャンセル操作を行った場合、前記他のユーザへの表示提示を継続すると共に、前記ユーザに対し、操作を受け付けることができない旨を通知する、前記(21)に記載の情報処理装置。
1 情報処理システム
100 情報処理装置
110 I/F部
120 制御部
121 3次元空間認識部
122 投影位置算出部
123 プロジェクタ制御部
130 空間情報記憶部
140 コンテンツ記憶部
300 駆動プロジェクタ
310 プロジェクタ
320 センサ
330 駆動機構
340 スピーカ
100 情報処理装置
110 I/F部
120 制御部
121 3次元空間認識部
122 投影位置算出部
123 プロジェクタ制御部
130 空間情報記憶部
140 コンテンツ記憶部
300 駆動プロジェクタ
310 プロジェクタ
320 センサ
330 駆動機構
340 スピーカ
Claims (20)
- ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部を備える、情報処理装置。
- 前記現在の表示状況は、表示位置または表示内容を含む、請求項1に記載の情報処理装置。
- 前記制御部は、
前記ユーザからの表示指示が、前記現在の表示位置の移動である場合、前記ユーザと前記他のユーザとが視認可能な領域に表示位置を移動させる制御を行う、請求項1に記載の情報処理装置。 - 前記制御部は、
前記ユーザの位置と前記他のユーザの位置に基づいて、前記視認可能な領域を判断する、請求項3に記載の情報処理装置。 - 前記制御部は、
さらに、前記ユーザの向きと前記他のユーザの向きを考慮して、前記視認可能な領域を判断する、請求項4に記載の情報処理装置。 - 前記制御部は、
前記ユーザの視界範囲と前記他のユーザの視界範囲の重なりに基づいて、前記視認可能な領域を判断する、請求項3に記載の情報処理装置。 - 前記制御部は、
前記現在の表示位置と、前記ユーザからの表示指示に応じた表示位置との間に、表示位置を移動させる制御を行う、請求項2に記載の情報処理装置。 - 前記制御部は、
前記ユーザからの表示指示が、前記現在の表示内容の変更である場合、前記ユーザと前記他のユーザとが視認可能な領域に表示位置を移動させると共に、前記現在の表示内容と前記ユーザからの表示指示に応じた表示内容とを含む分割画面を表示する制御を行う、請求項2に記載の情報処理装置。 - 前記制御部は、
前記ユーザと前記他のユーザとが視認可能な領域が無い場合、前記ユーザからの表示指示に応じた表示位置に表示位置を移動させると共に、前記ユーザからの表示指示に応じた表示内容を表示する制御を行う、請求項2に記載の情報処理装置。 - 前記制御部は、
前記ユーザからの表示指示に応じて表示位置および表示内容を変更した後、所定のタイミングで、表示位置および表示内容を元に戻す処理を行う、請求項3に記載の情報処理装置。 - 前記制御部は、
前記ユーザからの表示指示に応じて表示位置を変更する際、前記他のユーザにキャンセル操作の通知を行う、請求項1に記載の情報処理装置。 - 前記制御部は、
前記他のユーザによりキャンセル操作が行われた際、前記表示位置の変更を中止する、請求項11に記載の情報処理装置。 - 前記制御部は、
前記表示位置の変更を中止した際、前記ユーザからの表示指示に対応する他の表示装置を探索する、請求項12に記載の情報処理装置。 - 前記制御部は、
前記ユーザからの表示指示に応じて表示位置を移動させた際、前記他のユーザに対して表示移動を通知する、請求項1に記載の情報処理装置。 - 前記制御部は
前記ユーザからの表示指示に対し、前記他のユーザを優先して表示を継続する場合、前記ユーザに対して、操作を受け付けることができない旨を通知する、請求項1に記載の情報処理装置。 - 前記制御部は、
後から指示を行った前記ユーザを優先する表示制御と、
先に視聴していた前記他のユーザを優先する表示制御と、
前記ユーザと前記他のユーザの共有を優先する表示制御と、
の少なくともいずれかを、前記現在の表示状況に応じて設定する、請求項1に記載の情報処理装置。 - 前記制御部は、
前記現在の表示内容のコンテンツ種別に応じて、前記設定を行う、請求項16に記載の情報処理装置。 - 前記制御部は、
駆動プロジェクタによる表示制御を行う、請求項1に記載の情報処理装置。 - プロセッサが、
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定することを含む、情報処理方法。 - コンピュータを、
ユーザからの表示指示を検出した際、前記ユーザの位置、および、既に他のユーザに対して行っている現在の表示状況に応じて、前記ユーザからの前記表示指示に対応する表示制御を決定する制御部として機能させるためのプログラムが記録された、記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018094440A JP2021121878A (ja) | 2018-05-16 | 2018-05-16 | 情報処理装置、情報処理方法、および記録媒体 |
US17/055,352 US20210110790A1 (en) | 2018-05-16 | 2019-02-21 | Information processing device, information processing method, and recording medium |
PCT/JP2019/006586 WO2019220729A1 (ja) | 2018-05-16 | 2019-02-21 | 情報処理装置、情報処理方法、および記録媒体 |
CN201980031230.5A CN112106016A (zh) | 2018-05-16 | 2019-02-21 | 信息处理装置、信息处理方法和记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018094440A JP2021121878A (ja) | 2018-05-16 | 2018-05-16 | 情報処理装置、情報処理方法、および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021121878A true JP2021121878A (ja) | 2021-08-26 |
Family
ID=68540110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018094440A Pending JP2021121878A (ja) | 2018-05-16 | 2018-05-16 | 情報処理装置、情報処理方法、および記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210110790A1 (ja) |
JP (1) | JP2021121878A (ja) |
CN (1) | CN112106016A (ja) |
WO (1) | WO2019220729A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021144064A (ja) * | 2018-06-06 | 2021-09-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20230007231A1 (en) * | 2019-11-29 | 2023-01-05 | Sony Group Corporation | Image processing device, image processing method, and image display system |
US11694604B2 (en) * | 2021-04-23 | 2023-07-04 | Netflix, Inc. | Adjustable light-emissive elements in a display wall |
JPWO2023026798A1 (ja) * | 2021-08-23 | 2023-03-02 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4009850B2 (ja) * | 2002-05-20 | 2007-11-21 | セイコーエプソン株式会社 | 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法 |
JP5845783B2 (ja) * | 2011-09-30 | 2016-01-20 | カシオ計算機株式会社 | 表示装置、表示制御方法及びプログラム |
WO2016125359A1 (ja) * | 2015-02-03 | 2016-08-11 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2017055178A (ja) * | 2015-09-07 | 2017-03-16 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-05-16 JP JP2018094440A patent/JP2021121878A/ja active Pending
-
2019
- 2019-02-21 WO PCT/JP2019/006586 patent/WO2019220729A1/ja active Application Filing
- 2019-02-21 CN CN201980031230.5A patent/CN112106016A/zh not_active Withdrawn
- 2019-02-21 US US17/055,352 patent/US20210110790A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20210110790A1 (en) | 2021-04-15 |
WO2019220729A1 (ja) | 2019-11-21 |
CN112106016A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019220729A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
US10296084B2 (en) | Method and apparatus for communication between humans and devices | |
US10321104B2 (en) | Multi-modal projection display | |
WO2016157662A1 (ja) | 情報処理装置、制御方法、およびプログラム | |
EP3602272B1 (en) | Methods and systems for attending to a presenting user | |
JP6126076B2 (ja) | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム | |
US10930249B2 (en) | Information processor, information processing method, and recording medium | |
JP7211367B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11836282B2 (en) | Method and device for surfacing physical environment interactions during simulated reality sessions | |
EP2325722A1 (en) | Method and apparatus for communication between humans and devices | |
US20200125398A1 (en) | Information processing apparatus, method for processing information, and program | |
US11373271B1 (en) | Adaptive image warping based on object and distance information | |
JP2022546053A (ja) | 仮想ミラーシステム及び方法 | |
CN115280261A (zh) | 用于在多用户通信会话期间调用公共或私有交互的方法和设备 | |
WO2018139050A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20230162450A1 (en) | Connecting Spatially Distinct Settings | |
WO2020209184A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20240134492A1 (en) | Digital assistant interactions in extended reality | |
CA2423142C (en) | Method and apparatus for communication between humans and devices | |
CN116997886A (zh) | 扩展现实中的数字助理交互 | |
WO2022005579A1 (en) | Ambience-driven user experience |