JP2019036181A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2019036181A
JP2019036181A JP2017157746A JP2017157746A JP2019036181A JP 2019036181 A JP2019036181 A JP 2019036181A JP 2017157746 A JP2017157746 A JP 2017157746A JP 2017157746 A JP2017157746 A JP 2017157746A JP 2019036181 A JP2019036181 A JP 2019036181A
Authority
JP
Japan
Prior art keywords
projection
user
information processing
attraction
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017157746A
Other languages
English (en)
Inventor
拓也 池田
Takuya Ikeda
拓也 池田
文彦 飯田
Fumihiko Iida
文彦 飯田
健太郎 井田
Kentaro Ida
健太郎 井田
誠司 鈴木
Seiji Suzuki
誠司 鈴木
龍一 鈴木
Ryuichi Suzuki
龍一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017157746A priority Critical patent/JP2019036181A/ja
Priority to PCT/JP2018/020035 priority patent/WO2019035256A1/ja
Priority to US16/637,423 priority patent/US11284047B2/en
Priority to DE112018004219.7T priority patent/DE112018004219T5/de
Publication of JP2019036181A publication Critical patent/JP2019036181A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】投影環境を改善するための行動をユーザに促すことが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、を備える、情報処理装置。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、プロジェクタの小型化が進み、会議室や個人の部屋などに設置して利用するケースが多く見受けられるようになった。また、プロジェクタに関する近年の関連研究では、プロジェクタで投影されたUIをユーザが操作するインタラクティブな活用方法も提案されている。例えば机やテーブル、壁やソファー、さらには人体(腕、手のひら等)等、日常生活におけるあらゆる場所に画像を投影してタッチパネルとしてインタラクティブに用いることが可能である。
このようなプロジェクタの導入に際しては、投影領域の確保と最適化が不可欠であったが、従来は投影領域をユーザが手動で調整する必要があった。
また、投影領域の調整に関し、例えば下記特許文献1では、投射可能な領域を自動判別する投射型表示装置が開示されている。かかる投射型表示装置は、デプスセンサなどのエリアセンサを用いて障害物等を検出し、投影可能な領域を判定することができる。
また、下記特許文献2では、投影領域内の障害物を検出し、投影領域をより広く確保するために排除すべき物体の対象や排除後の投影可能領域をユーザに提示するプロジェクタが開示されている。
特開2015−145894号公報 特開2014−95891号公報
ここで、上述した先行特許文献はいずれも投影可能な領域のサイズに関するものであるが、プロジェクタで映像を投影する場合における投影環境の視認性は、投影領域のサイズだけが要因になるものではない。
例えば投影環境の視認性には、環境的要因や人的要因が影響し得るが、空間内の環境に応じてユーザに投影環境改善の行動を促すことは十分に行われていなかった。
そこで、本開示では、投影環境を改善するための行動をユーザに促すことが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識することと、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、投影環境を改善するための行動をユーザに促すことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態による空間内における平面領域の検出例を示す図である。 本実施形態による人状態認識の一例を示す図である。 本実施形態による投影制御処理を示すフローチャートである。 本実施形態による人状態認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す図である。 本実施形態による環境認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す図である。 本実施形態による人と投影面に関する評価軸を説明する図である。 本実施形態によるユーザの視線方向から投影場所へ投影画像を移動させて誘引する手段について説明する図である。 本実施形態によるユーザの視線方向から投影場所へ投影画像を移動させてユーザ行動を誘引する手段について説明する図である。 本実施形態による投影位置および理想的な視聴位置に投影画像を表示してユーザ行動を誘引する手段について説明する図である。 本実施形態による理想的な視聴位置まで足跡画像を投影してユーザ行動を誘引する手段について説明する図である。 本実施形態による行動誘引のために投影する画像の他の例を示す図である。 本実施形態による遮蔽物を除外させる投影画像を表示してユーザ行動を誘引する手段について説明する図である。 本実施形態による遮蔽物を除外させる投影画像を表示してユーザ行動を誘引する手段について説明する図である。 本実施形態による遮蔽物を除外させるための室内俯瞰画像の一例を示す図である。 本実施形態によるユーザ自身が遮蔽対象となっている場合における行動誘引手段の一例を示す図である。 本実施形態による投影面上に存在する障害物を除外させるための投影画像の一例を示す図である。 本実施形態による投影面上に存在する障害物を除外させるための投影画像の一例を示す図である。 本実施形態による障害物に重畳表示する投影画像において、除外時の効果の大きさの表現例を示す図である。 本実施形態によるホワイトボード等の投影面上のテクスチャをユーザに消させる行動誘引手段の一例を示す図である。 本実施形態によるユーザに誘引内容を文言で報知する場合について説明する図である。 本実施形態によるユーザ状態に応じた報知手段決定処理について示すフローチャートである。 本実施形態による環境音に応じた報知手段決定処理について示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.情報処理装置10の構成
3.動作処理
3−1.全体の流れ
(3−1−1.誘引内容決定処理)
(評価値の算出)
(優先度の決定)
(報知手段の具体例)
3−2.報知手段決定処理
(3−2−1.ユーザ状態に応じた報知手段決定処理)
(3−2−2.環境音に応じた報知手段決定処理)
4.応用例
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システム1は、情報処理装置10、センサ11、および出力装置12を含む。以下、本実施形態による情報処理システム1に含まれる各装置について説明する。
(センサ11)
センサ11は、周辺の環境情報を検知し、情報処理装置10に出力する。具体的には、センサ11は、ユーザの位置、姿勢、視線方向、顔の向き、および手指のジェスチャ等の人の状態に関する情報のセンシングと、投影面や障害物、遮蔽物を含む空間内の3次元情報、投影面の粗さや材質、色など投影面の情報、照度環境、および音量等の空間内の環境に関する情報のセンシングを行う。センサ11は、単一若しくは複数であってもよい。また、センサ11は、出力装置12に設けられていてもよい。
本実施形態によるセンサ11は、図1に示すように、例えばカメラ11a、距離センサ11b、照度センサ11c、およびマイクロホン11dにより実現され、空間内おける人関連の情報や環境関連の情報を取得する。各センサ11は、室内の天井や壁、テーブル等オブジェクト側に設置されてもよいし、ユーザが身に着けていてもよい。
カメラ11aは、空間内に居る1以上のユーザや投影領域を撮像して撮像画像を取得する。当該カメラ11aは、単一若しくは複数個であってもよい。また、撮像波長は、可視光域に限らず、紫外、赤外を含んでもよいし、特定波長領域に制限してもよい。また、照度のみを測定するセンサであってもよい。
距離センサ11bは、空間内の3次元情報を網羅的に認識可能な3次元画像を取得でき、メカ機構によって駆動可能なデプスセンサにより実現されてもよい。また、距離センサ11bは、赤外光を光源とした方式、超音波を用いた方式、複数台のカメラを用いた方式、および画像処理を用いた方式等が挙げられる。また、距離センサ11bは、単一若しくは複数個であってもよいし、エリア内の距離情報を一括取得してもよい。
照度センサ11cは、空間内の各箇所の照度を取得する。照度センサ11cは、単一若しくは複数個であってもよい。
マイクロホン11dは、周辺の音声(環境音を含む)を集音し、音声データを取得する。
なおセンサ11を実現するカメラ11a、距離センサ11b、照度センサ11c、およびマイクロホン11dは、それぞれ異なる場所に設けられてもよいし、同一の場所に設けられてもよい。
(情報処理装置10)
情報処理装置10は、センサ11から取得した情報を解析し、プロジェクタ12aによる投影を行う投影領域の環境、およびユーザの状態を認識する。その後、情報処理装置10は、最適な投影環境にするためのユーザに促す行動を決定し、プロジェクタ12aやスピーカ12bを介してユーザに報知する。上述したように、プロジェクタ12aで映像を投影する場合における投影環境の視認性は、投影領域のサイズだけが要因になるものではなく、投射後のDPI(dots per inch)、投影面の色や光学的反射特性、投影環境の照度といった環境的要因や、投影場所に対するユーザの位置、姿勢、視線、ユーザ人数といった人的要因が影響する。そこで本実施形態では、映像を投影する際に、投影環境の視認性を改善するための所定の行動をユーザに促すことで、コンテンツを視聴しやすく、また、投影されたUIの操作がし易くなるよう理想的な投影環境を構築する。
かかる情報処理装置10の具体的な構成については、図2を参照して後述する。
(出力装置12)
出力装置12は、情報処理装置10の制御に従ってユーザに情報提示を行う各種デバイスである。例えば出力装置12は、図1に示すように、プロジェクタ12a(投影表示装置)およびスピーカ12b(音声出力装置)により実現される。なお出力装置12の具体例は図1に図示したものに限定されず、他にも例えば表示部を有する表示装置、照明装置、振動装置、風出力装置、空調装置、各種アクチュエータ等、何らかの情報をユーザに提示し得る装置は全て想定し得る。また、空間内には、複数の出力装置12が存在していてもよい。また、出力装置12は、ユーザが所有するウェアラブルデバイス(HMD(Head Mounted Display)、スマートアイグラス、スマートウォッチ、スマートバンド、スマートネック、ネック型スピーカ、イヤリング型スピーカ、イヤカフ型スピーカ等)により実現されてもよい。
また、プロジェクタ12aおよびスピーカ12bは、空間内に固定されたものであってもよいし、空間内の任意の場所にどこでも出力できるものであってもよい。本実施形態では、プロジェクタ12aやスピーカ12bを介して、投影環境を改善するための行動をユーザに促す報知を行う。例えばプロジェクタ12aは、2軸で回転方向を制御できる駆動型プロジェクタにより実現される。また、空間内の任意の場所に情報を表示する方法としては、例えば空間内の全周囲にディスプレイ(表示装置)を配置してもよいし、全天周型プロジェクタ等その他のプロジェクタやホログラム映像装置を用いてもよい。また、ユーザが装着しているスマートアイグラスやHMD等を用いてもよい。また、テーブルやソファ等、オブジェクト側に設置された映像表示装置(テレビやタブレット端末など)を用いてもよい。また、スピーカ12bは、指向性スピーカであってもよい。また、スピーカ12bは、プロジェクタ12aと一体化したユニットであってもよいし、室内に配置されてもよいし、スマートフォンや携帯電話など個人端末に設けられたものであってもよい。
以上、本実施形態による情報処理システム1の構成について説明した。情報処理システム1の各装置は、各々別箇所に設置してもよいし、同一箇所に設置してもよい。
また、情報処理システム1の各装置は、各々別体として構成されてもよいし、少なくとも一部の装置が同一体として構成されてもよい。例えば、情報処理装置10は、センサ11や出力装置12と一体化した構成であってもよい。
<<2.情報処理装置10の構成>>
図2は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図2に示すように、情報処理装置10は、制御部100、通信部110、入力部120、および記憶部130を有する。
制御部100は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部100は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部100は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部100は、認識部101、投影領域決定部102、行動誘引決定部103、誘引制御部104、および投影制御部105としても機能する。
認識部101は、センサ11から送信された各種センサデータに基づいて、投影場所の環境およびユーザの状態を認識する。例えば環境認識処理では、「投影面」、「遮蔽物」、「障害物」、「環境照度」、「環境音(騒音)」等の認識を行う。
「投影面」に関しては、認識部101は、距離センサ11b(デプスセンサ)から取得したデプスデータに基づいて室内の3次元形状を認識し(空間認識)、認識結果から投影面の候補となる投影領域として、平面領域をいくつか算出する。ここで、図3に、空間内における平面領域の検出例を示す。図3に示すように、空間S内において、壁やテーブルの上、ソファーの肘掛等、デプスデータに基づいていくつかの投影面P1〜P7が算出される。なお認識部101は、「投影面」の認識において、カメラ11aにより取得されたカラー画像に基づいて、投影面の反射率や平面上のテクスチャ(色や文字など)を認識することも可能である。
「遮蔽物」に関しては、認識部101は、上述したように「投影面」を算出した後に、投影面の手前に配置された物をデプスセンサで認識する(物体認識)。例えば、投影したい場所の付近に他のユーザが立っている場合や、家具が配置されたため投影可能な領域が減少した場合等が想定される。かかる遮蔽物の大きさはプロジェクタ12aで投影可能な領域に影響するため、後述する行動誘因の内容決定においては、遮蔽物の大きさによって誘引行動の優先度を決定する。
「障害物」に関しては、認識部101は、平面上に配置された物体をデプスセンサで認識する。例えばテーブル上に置かれたカップやリモートコントーラ等が想定される。
「環境照度」に関しては、認識部101は、照度センサ11cにより取得された照度データに基づいて、投影場所周辺の照度を計測する。投影面の照度を、プロジェクタ12aの投影照度と比較することで、映像の視認性の指標を算出することが可能である。
また、人状態認識処理では、認識部101は、デプスデータやカラーの撮像画像に基づいて、空間内に存在するユーザの位置や、姿勢、および視線方向等を検出する。ここで、図4に、人状態認識の一例を示す。図4に示すように、例えばユーザの視線方向(視界ベクトル)や位置を3次元座標位置(x,y,z)で取得してもよい。また、姿勢としては、「立っている」、「座っている」、「横たわっている」等のユーザ状態が認識される。
投影領域決定部102は、認識部101で認識した投影面の候補(平面領域)から、適切な投影場所を決定する。例えば、投影領域決定部102は、投影面の情報(投影サイズ、DPI値)、人の情報(位置、姿勢、視線方向)、および投影するコンテンツ情報(コンテンツサイズ、メタデータ(動画、画像、Webサイト、テキスト、GUIなど))に基づいて、適切な投影場所を決定する。より具体的には、投影領域決定部102は、例えばGUI((Graphical User Interface)をユーザに入力させ、かつ広い画面で表示したい場合、図3に示す各投影面P1〜P7のうち、ユーザの近くにあって広めの領域である投影面P3(ダイニングテーブル)に投影場所を決定する。
行動誘引決定部103は、投影領域決定部102により決定した投影場所における投影環境(視聴、操作環境)を改善するためのユーザへの行動誘引の内容を決定する。すなわち、本実施形態では、認識部101により認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することが可能である。
行動誘引決定処理の詳細については図6および図7を参照して後述するが、例えば行動誘引決定部103は、認識された環境や人状態に基づいて要素毎に評価値を算出し、算出した評価値に基づいて各誘引内容の優先度を決定する。「要素」とは、例えばユーザの視聴距離、投影面の角度差、投影面までの遮蔽物、投影面上の障害物、投影面の反射、投影面の色や文字、図表、環境照度等が挙げられる。
誘引制御部104は、投影環境を改善する行動をユーザに促す通知(報知)を行うよう制御する。行動誘引の報知は、メッセージを表示してもよいし、音声により提示してもよい。また、複数の誘引行動がある場合は、順次誘引行動の内容をユーザに報知してもよい。また、誘引制御部104は、誘引行動の優先度が高い場合は、ユーザが視認、認識し易いよう明示的に誘引内容を提示し、低い場合は、音声による提示や文言を視線方向に提示する程度としてもよい。
投影制御部105は、決定した投影場所に所定のコンテンツ(映像等)を投影するよう制御する。投影制御部105は、誘引制御部104による報知が全て終了した後に投影するようにしてもよい。また、投影制御部105は、投影時に映像の幾何補正や色補正、投影領域を再度算出して投影するようにしてもよい。行動誘引の報知により環境が変化している場合もあるため、リアルタイムでより現状の環境に即した投影を行うためである。
(通信部110)
通信部110は、有線または無線により外部装置と直接若しくはネットワークを介してデータの送受信を行う。例えば通信部110は、有線/無線LAN(Local Area Network)、Wi−Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信等を用いてセンサ11や出力装置12と通信接続する。
(入力部120)
入力部120は、情報処理装置10への入力情報を受け付ける。例えば入力部120は、ユーザによる操作指示を受け付ける操作入力部であってもよい。操作入力部は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。また、入力部120は、音声入力部(マイクロホン)であってもよい。
(記憶部140)
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
記憶部140には、例えばコンテンツ(映像等)が記憶される。なおコンテンツは、通信部110を介して外部装置から送信されてもよい。
以上、本実施形態による情報処理装置10の構成について具体的に説明した。なお、本実施形態による情報処理装置10の構成は図2に示す例に限定されず、例えばさらに出力部を有していてもよい。出力部は、例えば表示部または音声出力部(マイクロホン)により実現されていてもよい。表示部は、操作画面やメニュー画面等を出力し、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL((Electro Luminescence)ディスプレイなどの表示装置であってもよい。
また、情報処理装置10が複数の装置により構成されていてもよい。また、情報処理装置10は、クライアント装置(スマートフォン、タブレット端末、PC(Personal Computer)、等)により実現されてもよいし、ネットワーク上のサーバにより実現されてもよい。
<<3.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
<3−1.全体の流れ>
まず、図5を参照して本実施形態による投影制御処理について説明する。図5は、本実施形態による投影制御処理を示すフローチャートである。
図5に示すように、まず、情報処理装置10の認識部101は、センサ11から取得した各種センサデータ(撮像画像、デプスデータ、照度情報、音声データ等)に基づいて、空間内における人状態の認識(ステップS103)および環境認識を行う(ステップS106)。
次に、投影領域決定部102は、プロジェクタ12aによりコンテンツを投影する投影領域の場所を決定する(ステップS109)。具体的には、投影領域決定部102は、環境認識において抽出した空間内の1以上の平面領域のうち、投影面の情報(投影サイズ、DPI値)、人の状態情報(位置、姿勢、視線方向)、および投影するコンテンツ情報(コンテンツサイズ、メタデータ(動画、画像、Webサイト、テキスト、GUI))等に基づいて、適切な投影場所を決定する。
次いで、行動誘引決定部103は、ユーザを誘引する行動誘引の内容を決定する(ステップS112)。詳細は後述するが、例えば行動誘引決定部103は、人状態の認識結果および環境認識結果に基づく各要素の評価値を算出し、評価値に基づいて各行動誘引を行うべきか否かの優先度を決定する。
次に、誘引制御部104は、投影環境を改善する行動をユーザに促す通知(報知)の報知手段決定し(ステップS115)、決定した手段で通知(報知)を行う(ステップS118)。報知手段の決定処理の詳細は後述するが、誘引制御部104は、例えば上記ステップS112により決定された、人や環境の要素毎の評価値に基づく各行動誘引の優先度に応じて報知手段を決定し得る。
続いて、ユーザへの報知を実行した後、認識部101は、再度、人状態の認識(ステップS121)および環境認識を行う(ステップS124)。
次いで、投影環境が変化しなかった場合(ユーザが報知内容を実行しなかったことが推定される)は(ステップS127/No)、ユーザにその旨をフィードバックする(ステップS130)。具体的には、環境が変化していない旨を通知したり、再度行動誘引の報知を行ってもよい。
次に、他に誘引する内容がある場合は(ステップS133/Yes)、上記ステップS115に戻り、次の誘引内容をユーザに報知する。
次いで、全ての報知が終了すると(ステップS133/No)、制御部100は、投影領域決定部102により投影領域を再度決定し(ステップS136)、投影制御部105により映像投影の制御を行う(ステップS139)。環境が変化していることも想定されるため、制御部100は、投影領域決定部102によりリアルタイムのセンサデータに基づいて再度投影領域を算出、決定する。また、投影制御部105は、必要に応じて投影する映像に対してセンサデータに基づいて幾何補正や色補正を行うようにしてもよい。
以上、本実施形態による投影制御処理について説明した。続いて、上記ステップS112における「誘引内容決定処理」について詳細に説明する。
(3−1−1.誘引内容決定処理)
本実施形態による行動誘引決定部103は、人状態認識および環境認識から各要素の評価値を算出し、評価値に基づいて各誘引行動について誘引するべきか否かの優先度を決定する。ここで、図6および図7に、要素毎の誘引内容と、誘引内容の優先度判定および報知手段の一例を示す。図6は、人状態認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す。また、図7は、環境認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す。
(評価値の算出)
行動誘引決定部103は、図6および図7に示すような要素毎に評価値を算出する。まず、図6に示すように、大カテゴリ「人情報」では、投影面に対する、人の位置、姿勢、視線方向といった人認識処理結果に基づいて、「視聴距離(Dist)」、「人の視聴向きに対する投影面法線との角度(Watch Angle)」、および「人の向きから投影場所までの角度(Screen Angle)」を、要素の評価値として算出する。ここで、図8に、人と投影面に関する評価軸の説明図を示す。図8では、図8上段の左に、一例として投影面P1とユーザとの距離(視聴距離)の説明図、図8上段の右に、投影面P1に対するユーザの視聴向き(視線方向)と投影面法線との角度の説明図、図8下段に、人の向きから投影場所(例えば投影面P3)との角度の説明図を示す。
次に、図7に示すように、大カテゴリ「環境情報」では、投影面に対する情報と、環境照度に関する情報に分けられる。投影面に対する情報では、センサデータに基づいて認識された遮蔽物、障害物、投影面の反射率、投影面の色や文字等に関し、「遮蔽物による投影領域の減少量(Occlusion)」、「障害物による投影領域の減少量(Obstacle)」、「投影面のプロジェクタ光の反射率(Reflectance)」、「投影面のテクスチャ(色や文字)による投影領域の減少量(Letter Color)」を、要素の評価値と算出する。
「遮蔽物による投影領域の減少量」は、例えば壁面に検出された投影面の手前にスタンドライト等の遮蔽物が配置されている場合に投影領域が減少するため、これを評価値と算出する。また、「障害物による投影領域の減少量」は、例えばテーブルにコップやリモートコントローラ等の障害物が置いてある場合に投影領域が減少するため、これを評価値として算出する。また、「投影面のプロジェクタ光の反射率」は、投影面の材質によってプロジェクタ光の反射率が異なるため、これを評価値として算出する。また、「投影面のテクスチャによる投影領域の減少量」は、投影面がホワイトボードや掲示版である場合、文字やイラスト等が描かれている部分は投影不適切エリアのため投影領域が減少するので、これを評価値として算出する。
また、環境照度に関する情報では、投影面におけるプロジェクタ投影照度と投影面周辺の環境照度との比率を環境照度(Environmental Light)として評価値を算出する。環境照度の評価値は、以下のように定義する。
Environmental Light=(プロジェクタの投影照度)/(投影面の環境照度)
(優先度の決定)
続いて、行動誘引決定部103による各要素の誘引内容の優先度の決定について説明する。例えば図6に示すように、「視聴距離」に対しては、『投影位置に対して最適な視聴位置へ移動させる』という誘引内容が対応付けられ、「投影面の角度」に対しては『投影面から垂直方向の位置へ誘導させる』という誘引内容が対応付けられている。行動誘引決定部103は、要素の評価値に基づいて、このような各誘引内容の優先度を決定する。優先度の判定には、例えば下記の2種類の判定式を適用してもよい。なお図6および図7で例示した要素以外であっても、下記判定式に適用して追加することも可能である。
・両端に閾値が存在する場合
両端に閾値が存在する評価値の場合、下記式1aおよび式1bにより優先度が決定される。下記式において、valueは要素の評価値、Priority High_Threshold LowおよびPriority High_Threshold Highは、優先度「高」と判定する際の閾値である。また、Priority Low_Threshold LowおよびPriority Low_Threshold Highは、優先度「低」と判定する閾値である。下記式1aが成り立つ場合は優先度「高」、下記式1bが成り立つ場合は優先度「低」となる。なお下記式1aおよび下記式1bの両方が成り立つ場合は、優先度「高」の判定である式1aを適用するようにしてもよい。
Priority High_Threshold Low < value
または
value <Priority High_Threshold High
…式1
Priority Low_Threshold Low < value
または
value < Priority Low_Threshold High
…式1a
上記判定式1aおよび式1bは、上述したDist、Watch Angle、Screen Angle、Reflectanceの要素に適用し得る。Distでは、遠すぎる場合も近すぎる場合も視聴に適さない場合がある。Watch AngleおよびScreen Angleについては角度が正の方向にも負の方向にも角度が大きすぎると視認性が低下する。また、Reflectanceは反射率が低いコンクリートのような素材や逆に反射率が高すぎる金属素材の投影面は適していない。以上のような理由から、上記要素に式
1aおよび式1bを適用する。
・評価値が低いまたは高いほど良い場合
評価値が低いほど良い場合、下記式2aおよび式2bにより優先度が決定される。また、評価値が高いほど良い場合、下記式3aおよび式3bにより優先度が決定される。下記式において、valueは要素の評価値、Priority High_Threshold、Priority Low_Thresholdは優先度「高」、優先度「低」の判定に用いる閾値である。また、判定式が成り立つ場合はその優先度を適用する。なお、式2a、式2bの両方が成り立つ場合は、優先度「高」の判定である式2aを適用する。式3a、式3bも同様に適用する。
Priority High_Threshold < value …式2a
Priority Low_Threshold < value …式2b
Priority High_Threshold > value …式3a
Priority Low_Threshold > value …式3b
上記判定式2a、式2b、式3a、式3bは、上述した、Occlusion、Obstacle、Letter Color、Environmental Lightの評価値の優先度判定に適用し得る。例えばOcclusion、Obstacle、Letter Colorは評価値が低いほど投影範囲を多くカバーできるため、式2a、式2bを適用する。また、Environmental Lightは値が大きいほど投影環境に適しているため、式3a、式3bを適用する。
なお、本実施形態では、図6および図7に示すように、要素毎に誘引内容を対応付けているが、複数の要素を組み合わせたものに誘引内容を対応付け、優先度を判定してもよい。例えば、視聴距離と投影面の角度差は相関のある要素であるため、2つの評価値を加味して対応する誘引内容の優先度を判定してもよい。
(報知手段の具体例)
次に、図6および図7に挙げた誘引手段の具体例について、図9〜図22を参照して説明する。本実施形態では、誘引の優先度が高い場合は、ユーザが視認、認識しやすいよう明示的に誘引内容を提示し、低い場合は、音声による提示や文言としてユーザの視線方向に通知する程度とするようにしてもよい。
図9および図10は、ユーザの視線方向から投影場所へ投影画像を移動させてユーザ行動を誘引する手段について説明する図である。例えば図9に示すように、ユーザの視線方向Vから離れた場所(例えば視界の外、投影面P4)に映像を投影する場合、情報処理装置10は、プロジェクタ12aにより、ユーザの視線方向の先にスポットライトのような投影画像200を表示し、そこから投影場所(ソファーのひじ掛け部分の投影面P4)にスポットライトの投影画像を移動させる(投影画像201、202、203)。これにより、明示的にどこが投影場所であるかをユーザに提示することができ、ユーザに投影場所に振り向かせ(行動誘引)、人要因の環境改善を行うことができる。なお誘引に用いる投影画像は図9に示すスポットライトに限定されず、例えば図10に示すような矢印画像210〜214であってもよい。
図11は、投影位置および理想的な視聴位置に投影画像を表示してユーザ行動を誘引する手段について説明する図である。図11に示す例では、例えばユーザの視線方向Vから外れているテーブルの上を投影場所としている場合に(投影面P5)、テーブル上や、テーブル付近における理想的な視聴位置である椅子の上に、スポットライトのような投影画像220を表示している。また、図9および図10で挙げたように、現在のユーザの視線方向から、理想的な視聴位置(ここでは、テーブル付近の椅子の上)にスポットライトのような投影画像を移動させてもよい。また、図12に示すように、ユーザの足元から視聴位置まで足跡のような投影画像230を表示してもよい。
これにより、明示的にどこが投影場所であるか、また、どこで視聴するのがよいかをユーザに提示することができ、ユーザを視聴位置に移動させ(行動誘引)、人要因の環境改善を行うことができる。なお誘引に用いる投影画像は図11や図12に示す例に限定されず、例えば図13に示すような投影画像240A〜240Cであってもよい。すなわち、投影画像240Aのような流星のような尾を引く表現、投影画像240Bのような三角形状の表現、投影画像240Cのような示す方向に色や明るさ、透明度、太さ等を変化させる表現であってもよい。
図14および図15は、遮蔽物を除外させる投影画像を表示してユーザ行動を誘引する手段について説明する図である。例えば投影面の前面に存在する遮蔽物が認識された場合、情報処理装置10は、除外させたい遮蔽物をユーザに強調若しくは認識させる投影画像を表示する。具体的には、例えば図14左側に示すように、投影面P8の前面に存在する遮蔽物20にスポットライトのような投影画像250を表示する。また、図14右側に示すように、荷物を運ぶ人のアイコン画像251を遮蔽物20に投影してユーザに移動させるよう促すことも可能である。また、図15に示すように、投影面P8に塗りつぶし矩形画像252を投影し、遮蔽物20の存在をユーザに知らせてもよい。
また、図16に示すように、室内の俯瞰画像30をユーザの視線方向等に投影し、プロジェクタ位置32、プロジェクタ投影方向、および遮蔽物位置31をユーザに通知してもよい。
図17は、ユーザ自身が遮蔽対象となっている場合における行動誘引手段の一例を示す。図17に示すように、例えば投影面P3に塗りつぶし矩形画像をプロジェクタ12aから投影することで、ユーザの影260ができるため、自身が遮蔽対象になっていることをユーザに通知することができる。
このように、遮蔽物を明示的にユーザに示すことで、遮蔽物をユーザに移動させ(行動誘引)、環境要因の環境改善を行うことができる。
次に、テーブルの上等に置かれた障害物を除外させる手段の一例について図18〜図19を参照して説明する。例えばテーブルの上が投影領域である場合に(図3の投影面P3、P5参照)、投影面上に存在する障害物を除外させるためにテーブル上に所定の投影画像を表示する
例えば図18上段に示すように、テーブル15上において投影可能な領域から障害物の存在する方向へ矢印画像270や波のようなアニメーション画像271を投影することで、除外させたい障害物や障害物の移動、どの方向に領域を広げれば良いかをユーザに知らせることができる。
また、図18下段の左側に示すように、障害物16a、16bの形状に合わせた塗りつぶし画像272a、272bを障害物16a、16bに重畳表示し、明示的に除外してほしい障害物をユーザに提示することが可能である。なお塗りつぶし画像272a、272bを点滅させて表示させてもよい。また、図18下段の右側に示すように、障害物16a、16bに重畳表示する画像の色を効果の大きさに応じて変えてもよい。例えば効果の大きい障害物(除外した際に投影領域が大きく広がる障害物)に所定の色を投影する。また、色の違いの他、透過度、点滅速度を変えることで効果の大きさの違いを表現してもよい。また、効果の大きさを表現の例はこれに限定されず他の表現方法であってもよい。ここで、図20に、効果の大きさを表現例を示す。図20に示すように、色で効果の大きさを表現する色画像280A、アニメーションで効果の大きさを表現するアニメーション画像280B、アイコンで効果の大きさを表現するアイコン画像280Cが挙げられる。
また、図19上段左側に示すように、障害物が振動するような強調表現274a、274bを行ってもよいし、図19上段右側に示すように、障害物に矢印とテキストで明示的に提示する誘引画像275を表示してもよい。
また、図19下段左側に示すように、障害物をどこまで移動すれば良いかを提示する移動軌跡画像276a、276bを示してもよい。移動軌跡画像276a、276bは、障害物の移動先を破線で表示している。また、図19下段右側に示すように、障害物の移動先までをアニメーション画像277a、277bで表示し、ユーザに移動先を提示してもよい。
このように、除外対象である障害物の存在や、移動させるべき方向等を明示的にユーザに示すことで、障害物をユーザに移動させ(行動誘引)、環境要因の環境改善を行うことができる。
また、文字が書かれたホワイトボードなど、投影面としては平面ではあるものの投影面上にテクスチャ(文字、イラスト等)が多い場合も想定される。この場合、例えば図21に示すように、ホワイトボード17等の投影面P9上のテクスチャ部分に塗りつぶし画像290を投影し、ホワイトボードに書かれた文字をユーザに消してもらうよう誘引することが可能である。
また、ユーザの視線方向に誘引文言を提示する手段も考え得る。例えば優先度が低い誘引内容の場合、明示的ではなくユーザに文言を提示することで伝える程度にしてもよい。図22は、ユーザに誘引内容を文言で報知する場合について説明する図である。図22に示すように、例えば投影面P1の環境照度が明るい場合、ユーザに「環境照度が高すぎます。部屋を少し暗くしてください。」といった文言を示す通知画像300をユーザの視線方向に投影してもよい。
また、行動誘引手段には、上述したように投影画像の表示の他、音声による提示も考え得る。例えば、環境照度のカテゴリで優先度「高」と判定され、環境光を下げさせたい場合、「周囲が明るすぎます。蛍光灯やカーテンを閉めてください。」といった音声をスピーカ12bから出力してもよい。また、投影面上の障害物を除外して欲しい場合には、「テーブル上を片づけてください。」といった音声をスピーカ12bから出力してもよい。また、投影領域が確保できない場合には、「投影可能な場所がありません。平らな面を用意してください。」といった音声をスピーカ12bから出力してもよい。平らな面の用意は特に限定しないが、例えばキッチンの場合はまな板が想定される。また、ユーザを投影場所に振り向かせたい場合には、「左下にUIを表示します」といった音声をスピーカ12bから出力してもよい。
なおこれらの音声提示は、図9〜図20を参照して説明したような投影画像による誘引と共に行ってもよい。
<3−2.報知手段決定処理>
続いて、図5を参照して説明した投影制御処理のうち、ステップS115に示す報知手段処理について、図23および図24を参照して具体的に説明する。報知手段は、図6および図7に示したように、1つの項目において複数の報知手段(画像提示(投影表示)と音声)が設定されている場合がある。情報処理装置10は、例えば下記第1の決定処理または第2の決定処理により、採用する報知手段を決定してもよい。
(3−2−1.ユーザ状態に応じた報知手段決定処理)
図23は、本実施形態によるユーザ状態に応じた報知手段決定処理について示すフローチャートである。図23に示すように、まず、情報処理装置10の認識部101は、センサデータに基づいて人状態認識(ステップS203)および環境認識を行う(ステップS206)。
次に、情報処理装置10の誘引制御部104は、図5に示すステップS112で決定されたユーザ誘引内容に対応する報知手段が複数あるか否かを判断する(ステップS209)。
次いで、報知手段が複数ある場合(ステップS209/Yes)、誘引制御部104は、人状態認識結果に基づいて、投影場所をユーザが見ているか否かを判断する(ステップS212)。
次に、投影場所をユーザが見ている場合(ステップS212/Yes)、誘引制御部104は、ビジュアル表現やテキストによる報知手段(投影画像の表示)を採用する(ステップS215)。
一方、投影場所をユーザが見ていない場合(ステップS212/No)、誘引制御部104は、音声による報知手段を採用する(ステップS218)。
また、報知手段が単数の場合は(ステップS209/No)、誘引制御部104は、設定された1の所定の手段で報知する(ステップS221)。
このように、誘引制御部104は、ユーザが投影場所を見ているか否かに応じて、画像表示による報知手段か音声による報知手段であるかを決定するようにしてもよい。
(3−2−2.環境音に応じた報知手段決定処理)
図24は、本実施形態による環境音に応じた報知手段決定処理について示すフローチャートである。図24に示すように、まず、情報処理装置10の認識部101は、センサデータに基づいて人状態認識(ステップS233)および環境認識を行う(ステップS236)。
次に、情報処理装置10の誘引制御部104は、図5に示すステップS112で決定されたユーザ誘引内容に対応する報知手段が複数あるか否かを判断する(ステップS239)。
次いで、報知手段が複数ある場合(ステップS239/Yes)、誘引制御部104は、環境認識結果に基づいて、騒音レベルが一定以上であるか否かを判断する(ステップS242)。
次に、騒音レベルが一定以上ではない場合(ステップS242/No)、誘引制御部104は、音声による報知手段を採用する(ステップS245)。
一方、騒音レベルが一定以上である場合(ステップS245/Yes)、誘引制御部104は、ビジュアル表現やテキストによる報知手段(投影画像の表示)を採用する(ステップS248)。
また、報知手段が単数の場合は(ステップS239/No)、誘引制御部104は、設定された1の所定の手段で報知する(ステップS251)。
このように、誘引制御部104は、ユーザが音声を認識できる環境かどうかを判断して画像表示による報知手段か音声による報知手段であるかを決定するようにしてもよい。
<<4.応用例>>
<4−1.報知手段について>
本実施形態では、プロジェクタ12aによる画像や文言の投影、スピーカ12bからの音声による提示を報知手段としているが、例えば、個人が持つスマートフォンなどの端末へ通知するといった報知手段でもよい。また、触覚を発生させる振動子が搭載されたデバイス(リモートコントローラのようにユーザが把持されて用いられる)も組み合わせて報知を行ってもよい。これにより、触覚情報を用いた報知も可能となる。
<4−2.アイウェアデバイス>
本実施形態は、ユーザに映像の視認性を担保するために行動誘引するものである。本実施形態では、プロジェクタ12aによる映像表示を一例にしたが、本実施形態はこれに限定されず、メガネ型デバイスでコンテンツを視聴する場合にも適用可能である。メガネ型デバイスは、透過型ディスプレイをメガネに搭載したデバイスであって、ディスプレイを介して、実世界上にAR重畳されたコンテンツを視聴する。この場合、環境照度やユーザとAR重畳する場所との角度、AR重畳場所までの遮蔽物やAR重畳場所上の障害物など、上述した例と同じ要因が視認性に影響する。そのため、本実施形態によるユーザへの行動誘引の報知は、アイウェアデバイスの場合にも同様に適用可能である。
<4−3.駐車ユースケースへの応用>
本実施形態では、ユーザに最適な投影環境を実現するためにユーザ行動を誘引するが、このような誘引における映像表現は、車の駐車のようにユーザを最適な場所へ誘引する手段としても応用し得る。例えば、ユーザの駐車した結果に対して、「もう少し右に寄ったほうが良い」などが認識できた場合、地面若しくは車内のモニターに移動先を提示して誘引してもよい。
<4−4.表示デバイスの連携>
本実施形態では、駆動プロジェクタを想定したシステムを構築したが、TV装置やタブレット端末などを表示場所(投影面)としてシステムを構築してもよい。すなわち、タブレットやTV装置等の映像出力装置における表示画面を、画像出力領域として投影面と同様に検出してもよい。この場合、本システムでは、各表示デバイスの配置や姿勢、画面サイズ等の情報を投影面に関する情報として取得する。
<4−5.複数人の場合>
本システムは、対象となるユーザが複数人であってもよい。例えば、ユーザの視線方向に文言を提示する場合、複数人の視線方向から視界が重なる領域を算出し、そこに文言を提示するようにしてもよい。また、スポットライトの投影画像を移動させる表現においても、最初の表示位置を上述した複数ユーザの視界が重なる領域から算出するようにしてもよい。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、投影環境を改善するための行動をユーザに促すことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置10、センサ11、または出力装置12に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置10、センサ11、または出力装置12の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
を備える、情報処理装置。
(2)
前記誘引情報は、前記視認性に影響を与える人的要因または環境的要因を変化させるためにユーザに促す行動である、前記(1)に記載の情報処理装置。
(3)
前記人的要因は、ユーザの視聴距離、姿勢、状態、投影面との角度差、視線方向、またはユーザの視聴位置である、前記(2)に記載の情報処理装置。
(4)
前記環境的要因は、投影面周辺の遮蔽物、投影面上の障害物、投影面の反射、投影面の色、文字、若しくは図表、環境照度、または環境音である、前記(2)に記載の情報処理装置。
(5)
前記誘引制御部は、音声、画像、または振動により、前記誘引情報をユーザに報知するよう制御する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記情報処理装置は、
人の状態または環境音に応じて、音声または画像のいずれの報知手段を用いるかを決定する誘引決定部をさらに備える、前記(5)に記載の情報処理装置。
(7)
前記情報処理装置は、
前記センサデータに基づいて、人状態に関する要素および環境に関する各要素の評価値を算出し、前記要素に紐付けられた誘引内容の優先度を前記評価値に基づいて算出し、当該優先度に応じて誘引内容を決定する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(8)
前記誘引制御部は、ユーザの視線方向から投影場所まで投影画像を移動させてユーザの視線を変化させる、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記誘引制御部は、視聴位置に投影画像を表示してユーザを移動させる行動を促す、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(10)
前記誘引制御部は、遮蔽物を投影画像により明示してユーザに当該遮蔽物を除外させる行動を促す、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(11)
前記誘引制御部は、投影面上の障害物を投影画像により明示してユーザに当該障害物を除外させる行動を促す、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(12)
前記誘引制御部は、投影面上のテクスチャに投影画像を重畳表示してユーザに当該テクスチャを消去させる行動を促す、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(13)
前記誘引制御部は、ユーザの視線方向上に誘引文言を表示するよう制御する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(14)
プロセッサが、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識することと、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することと、
を含む、情報処理方法。
(15)
コンピュータを、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
として機能させるための、プログラム。
1 情報処理システム
10 情報処理装置
11 センサ
11a カメラ
11b 距離センサ
11c 照度センサ
11d マイクロホン
12 出力装置
12a プロジェクタ
12b スピーカ
100 制御部
101 認識部
102 投影領域決定部
103 行動誘引決定部
104 誘引制御部
105 投影制御部
110 通信部
120 入力部
130 記憶部

Claims (15)

  1. コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
    前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
    を備える、情報処理装置。
  2. 前記誘引情報は、前記視認性に影響を与える人的要因または環境的要因を変化させるためにユーザに促す行動である、請求項1に記載の情報処理装置。
  3. 前記人的要因は、ユーザの視聴距離、姿勢、状態、投影面との角度差、視線方向、またはユーザの視聴位置である、請求項2に記載の情報処理装置。
  4. 前記環境的要因は、投影面周辺の遮蔽物、投影面上の障害物、投影面の反射、投影面の色、文字、若しくは図表、環境照度、または環境音である、請求項2に記載の情報処理装置。
  5. 前記誘引制御部は、音声、画像、または振動により、前記誘引情報をユーザに報知するよう制御する、請求項2に記載の情報処理装置。
  6. 前記情報処理装置は、
    人の状態または環境音に応じて、音声または画像のいずれの報知手段を用いるかを決定する誘引決定部をさらに備える、請求項5に記載の情報処理装置。
  7. 前記情報処理装置は、
    前記センサデータに基づいて、人状態に関する要素および環境に関する各要素の評価値を算出し、前記要素に紐付けられた誘引内容の優先度を前記評価値に基づいて算出し、当該優先度に応じて誘引内容を決定する、請求項1に記載の情報処理装置。
  8. 前記誘引制御部は、ユーザの視線方向から投影場所まで投影画像を移動させてユーザの視線を変化させる、請求項1に記載の情報処理装置。
  9. 前記誘引制御部は、視聴位置に投影画像を表示してユーザを移動させる行動を促す、請求項1に記載の情報処理装置。
  10. 前記誘引制御部は、遮蔽物を投影画像により明示してユーザに当該遮蔽物を除外させる行動を促す、請求項1に記載の情報処理装置。
  11. 前記誘引制御部は、投影面上の障害物を投影画像により明示してユーザに当該障害物を除外させる行動を促す、請求項1に記載の情報処理装置。
  12. 前記誘引制御部は、投影面上のテクスチャに投影画像を重畳表示してユーザに当該テクスチャを消去させる行動を促す、請求項1に記載の情報処理装置。
  13. 前記誘引制御部は、ユーザの視線方向上に誘引文言を表示するよう制御する、請求項1に記載の情報処理装置。
  14. プロセッサが、
    コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識することと、
    前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することと、
    を含む、情報処理方法。
  15. コンピュータを、
    コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
    前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
    として機能させるための、プログラム。
JP2017157746A 2017-08-18 2017-08-18 情報処理装置、情報処理方法、およびプログラム Pending JP2019036181A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017157746A JP2019036181A (ja) 2017-08-18 2017-08-18 情報処理装置、情報処理方法、およびプログラム
PCT/JP2018/020035 WO2019035256A1 (ja) 2017-08-18 2018-05-24 情報処理装置、情報処理方法、およびプログラム
US16/637,423 US11284047B2 (en) 2017-08-18 2018-05-24 Information processing device and information processing method
DE112018004219.7T DE112018004219T5 (de) 2017-08-18 2018-05-24 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017157746A JP2019036181A (ja) 2017-08-18 2017-08-18 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2019036181A true JP2019036181A (ja) 2019-03-07

Family

ID=65362750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017157746A Pending JP2019036181A (ja) 2017-08-18 2017-08-18 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11284047B2 (ja)
JP (1) JP2019036181A (ja)
DE (1) DE112018004219T5 (ja)
WO (1) WO2019035256A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091589A1 (ja) * 2020-10-29 2022-05-05 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7490347B2 (ja) 2019-09-20 2024-05-27 旭化成ホームズ株式会社 片付け支援装置、片付け支援プログラム及び片付け支援方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144064A (ja) * 2018-06-06 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11245880B2 (en) * 2019-09-12 2022-02-08 Universal City Studios Llc Techniques for spatial data projection
WO2023238703A1 (ja) * 2022-06-07 2023-12-14 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984074A (ja) 1995-09-13 1997-03-28 Nec Shizuoka Ltd 無線選択呼出受信機
JP2013105171A (ja) * 2011-11-17 2013-05-30 Seiko Epson Corp プロジェクター及びその制御方法
JP2014095891A (ja) 2012-10-09 2014-05-22 Canon Marketing Japan Inc プロジェクタ、画像投影方法ならびにプログラム
JP2015026024A (ja) * 2013-07-29 2015-02-05 株式会社ニコン 立体画像観察装置、プロジェクタおよびプロジェクタシステム
JP2015145894A (ja) 2014-01-31 2015-08-13 キヤノン株式会社 投射型表示装置
WO2016103543A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7490347B2 (ja) 2019-09-20 2024-05-27 旭化成ホームズ株式会社 片付け支援装置、片付け支援プログラム及び片付け支援方法
WO2022091589A1 (ja) * 2020-10-29 2022-05-05 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US11284047B2 (en) 2022-03-22
US20200228763A1 (en) 2020-07-16
DE112018004219T5 (de) 2020-05-07
WO2019035256A1 (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
US9880619B2 (en) Virtual reality system with a finger-wearable control
US10528154B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US10254826B2 (en) Virtual/augmented reality transition system and method
KR102098277B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US11284047B2 (en) Information processing device and information processing method
KR101591493B1 (ko) 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
CN110383214B (zh) 信息处理装置、信息处理方法和记录介质
US20140049491A1 (en) System and method for perceiving images with multimodal feedback
JP7211367B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20160124023A (ko) 알림 정보를 제공하는 전자 장치 및 이의 알림 정보 제공 방법
AU2011219427A1 (en) A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US11818511B2 (en) Virtual mirror systems and methods
US20170289488A1 (en) Heads down intelligent display and processing
WO2022266998A1 (zh) 一种智能交互平板及其亮度调节方法
WO2020209184A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Chen et al. POD: A Smartphone That Flies
CN117677995A (zh) 为长时间注视显示器的用户呈现视觉分散
US20210211621A1 (en) Information processing apparatus, information processing method, and program
JP2021119642A (ja) 情報処理装置、情報処理方法、および、記録媒体