JP2023157275A - 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP2023157275A
JP2023157275A JP2022067075A JP2022067075A JP2023157275A JP 2023157275 A JP2023157275 A JP 2023157275A JP 2022067075 A JP2022067075 A JP 2022067075A JP 2022067075 A JP2022067075 A JP 2022067075A JP 2023157275 A JP2023157275 A JP 2023157275A
Authority
JP
Japan
Prior art keywords
user
image
display
possibility
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022067075A
Other languages
English (en)
Inventor
奈緒子 小形
Naoko Ogata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022067075A priority Critical patent/JP2023157275A/ja
Priority to PCT/JP2023/001093 priority patent/WO2023199564A1/ja
Publication of JP2023157275A publication Critical patent/JP2023157275A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

Figure 2023157275000001
【課題】特定のユーザが他のユーザに応じた画像を見る場合に、当該特定のユーザに接触の可能性を適切に知らせることができる技術を提供する。
【解決手段】情報処理装置は、第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を取得する取得手段と、第2のユーザの接触の可能性を判定する判定手段と、前記第1の画像を表示するように、前記第2のユーザが使用する第2の表示装置を制御する表示制御手段と、前記第2のユーザの接触の可能性が閾値より高いと判定された場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する制御手段と、を有する。
【選択図】図1

Description

本発明は、情報処理装置、情報処理システム、表示装置、情報処理方法、プログラムに関する。
近年、仮想世界と現実世界とをリアルタイムに融合し、新たな空間(体験)を作り出すXR(X Reality)技術が知られている。XR技術が用いられた画像をユーザに提示する装置として、頭部装着型の装置(HMD:Head Mount Display)、タブレット、またはスマートフォンがある。
特許文献1では、ゲームの一環としてXR画像を見ている(XR体験をしている)ユーザに、危険な状況を把握させるゲーム装置の技術が記載されている。まず、ゲーム装置は、ユーザが特定のエリアに接近(または到達)した場合に、ユーザの移動の停止を促す表示を行う。そして、ゲーム装置は、ユーザが特定のエリアに侵入した場合には、ユーザがXR画像を見ることを躊躇させる処理(表示されている画像を変化させる処理、ゲームの進行態様を変化させる処理、およびゲームを終了する処理の少なくともいずれか)を行う。
特許文献2には、特定のユーザが見ているXR画像を他のユーザの装置に送信して、当該XR画像を他のユーザに提示する技術が記載されている。これによれば、複数のユーザが、特定のユーザが見ているXR画像を見て、議論や指示を行うことができる。
特開2017-119031号公報 特開2002-132487号公報 特開2016-224809号公報
しかしながら、特許文献2では、或るユーザが、他のユーザの表示装置のXR画像を見ている際に、体を動かすことにより人や物に接触したりする可能性(危険性)がある。ここで、特許文献1の技術を用いれば、接触の可能性を示す警告をXR画像に表示することなどで体験の継続を躊躇させることができる。一方で、特許文献1の技術を用いても、或るユーザは、他のユーザに対する警告を含むXR画像を見る可能性があるため、当該或るユーザ自身に危険が生じているか否かを正しく把握できない可能性がある。
そこで、本発明は、特定のユーザが他のユーザに応じた画像を見る場合に、当該特定のユーザに接触の可能性を適切に知らせることができる技術の提供を目的とする。
本発明の1つの態様は、
第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を取得する取得手段と、
第2のユーザの接触の可能性を判定する判定手段と、
前記第1の画像を表示するように、前記第2のユーザが使用する第2の表示装置を制御する表示制御手段と、
前記第2のユーザの接触の可能性が閾値より高いと判定された場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する制御手段と、
を有することを特徴とする情報処理装置である。
本発明の1つの態様は、
表示装置であって、
第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を表示する表示手段と、
前記表示装置を使用する第2のユーザの接触の可能性が閾値より高い場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記表示手段を制御する制御手段と、
を有することを特徴とする表示装置である。
本発明の1つの態様は、
第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を取得する取得ステップと、
第2のユーザの接触の可能性を判定する判定ステップと、
前記第1の画像を表示するように、前記第2のユーザが使用する第2の表示装置を制御する表示制御ステップと、
前記第2のユーザの接触の可能性が閾値より高いと判定された場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する制御ステップと、
を有することを特徴とする情報処理方法である。
本発明によれば、特定のユーザが他のユーザに応じた画像を見る場合に、当該特定のユーザに接触の可能性を適切に知らせることができる。
実施形態1に係る情報処理システムの構成図である。 実施形態1に係る第1の装置と第2の装置のハードウェア構成図である。 実施形態1に係る表示制御処理のフローチャートである。 実施形態1に係る表示制御処理を説明する図である。 実施形態1に係る警告を説明する図である。 実施形態1に係る警告を説明する図である。 実施形態2に係る情報処理システムの構成図である。 実施形態2に係る表示制御処理を説明する図である。 実施形態2に係る表示制御処理のフローチャートである。 実施形態2に係る警告を説明する図である。 変形例2に係る表示制御処理のフローチャートである。 変形例2に係る警告を説明する図である。
以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。また、以下において2つの物体の距離とは、2つの物体の中心位置間の長さであ
ってもよいし、2つの物体間の間隔の長さであってもよい。
<実施形態1>
図1は、実施形態1に係る情報処理システム1の構成図である。実施形態1に係る情報処理システム1は、第1の装置100、第2の装置200、第1のユーザが使用する表示装置120、第2のユーザが使用する表示装置220を有する。なお、第1の装置100および第2の装置200によって、表示装置120および表示装置220が制御されるため、第1の装置100および第2の装置200を併せて制御システムと捉えてもよい。
第1の装置100と第2の装置200は、互いに通信可能である。第1の装置100と表示装置120は、互いに通信可能である。第2の装置200と表示装置220は、互いに通信可能である。各構成間の通信には、有線および無線のいずれを用いてもよい。
ここで、情報処理システム1は、複数人のユーザがXR体験を行っている際には、1人のユーザが見ている表示画像を他のユーザに共有するか否かを選択することができる。このような表示画像の共有元のユーザを「他視点共有ユーザ」と称す。「他視点共有ユーザ」の選択には、複数のユーザそれぞれにIDまたは名前を設定(付与)し、いずれかのユーザの操作に応じて「他視点共有ユーザ」を選択する方法がある。また、「他視点共有ユーザ」の選択には、特許文献3のように現実画像を用いて「他視点共有ユーザ」を選択する方法がある。なお、実施形態1では、「他視点共有ユーザ」は、表示装置120を使用(装着)する第1のユーザであるとする。
(第1の装置100の内部構成について)
図1を参照して、第1の装置100の内部構成について説明する。第1の装置100は、表示装置120を制御する制御装置(情報処理装置;電子機器)である。第1の装置100は、画像取得部101、計測部102、データ取得部103、警告判定部104、データ保持部106、画像生成部107、共有画像送信部110を有する。
画像取得部101は、表示装置120の撮像部121から現実画像を取得する。現実画像は、表示装置120の正面(前面)の範囲(空間)を撮像部121が撮像した撮像画像である。画像取得部101は、計測部102と画像生成部107に現実画像を出力する。
計測部102は、現実画像に対して画像処理を行って、現実画像における点や線などの特徴的な情報(特徴情報)を抽出する。計測部102は、特徴情報に基づき、表示装置120の位置姿勢(位置および姿勢)を計測する。そして、計測部102は、表示装置120の位置姿勢から、第1のユーザの位置姿勢を判定する。計測部102は、第1のユーザの位置姿勢の情報を、警告判定部104および画像生成部107に出力する。
なお、実施形態1では、計測部102は、画像処理の結果に基づき表示装置120の位置姿勢を計測する。しかし、計測部102は、表示装置120の位置姿勢を機械的に計測してもよい。計測部102は、赤外光または超音波を用いて位置姿勢を計測してもよいし、磁気センサを用いて位置姿勢を計測してもよい。さらに、計測部102は、奥行きセンサを用いて表示装置120の位置姿勢を計測してもよい。なお、これらのセンサは、表示装置120が有していてもよいし、表示装置120と第1の装置100とが同様の位置に存在するのであれば、第1の装置100が有していてもよい。
データ取得部103は、現実物(現実空間に配置された物または人物)の位置姿勢および形状の情報を取得する。ここで、現実物は、第1のユーザと接触(衝突)する可能性があるか否かが判定される物(人物以外の物体)または人物である。そして、現実物は、第1のユーザ以外のユーザ(第2のユーザなど)を含む。データ取得部103は、例えば、
第2の装置200の計測部202が計測した第2のユーザの位置姿勢の情報を取得してもよいし、表示装置120が有するセンサによって計測された値から第2のユーザの位置姿勢の情報を取得してもよい。また、データ取得部103は、第2のユーザの形状を、例えば、予め定められた形状や円柱形状であると仮定してもよい。データ取得部103は、現実物の位置姿勢および形状の情報を、現実物データとして警告判定部104に出力する。
また、データ取得部103は、例えば、既知の3次元再構成技術によって予め現実空間をスキャンした結果に基づき、現実物の位置姿勢および形状の情報を取得する。または、データ取得部103は、複数の位置(視点)から撮像した複数の現実画像を取得し、複数の現実画像間の視差に基づき現実物の奥行を計測することで、現実物の位置姿勢および形状の情報を取得してもよい。
なお、現実物の位置姿勢および形状の情報をユーザが予め登録しておいてもよい。このとき、ユーザが、現実物を含む空間を含むような3次元モデル(例えば、立方体または円柱のモデル)を設定してもよい。そして、データ取得部103は、ユーザが設定した3次元モデルが配置された位置を現実物の位置として取得して、3次元モデルの形状を現実物の形状として取得してもよい。または、ユーザは、現実物が配置されている平面部(2次元空間)を、現実物の位置として設定してもよい。
警告判定部104は、第1のユーザの位置姿勢と現実物データに基づき、接触(衝突)の可能性(危険性)を判定する。そして、警告判定部104は、接触の可能性が高いことを警告(通知)するか否かを判定する。警告判定部104は、接触の可能性が高いことを警告するか否かを判定した結果(第1の判定結果)を画像生成部107に出力する。実施形態1では、警告判定部104は、第1のユーザと現実物との距離が閾値Th1以内であるか否かに応じて、接触の可能性が高いこと(接触の可能性があること)を警告するか否かを判定する。ここで、警告判定部104は、例えば、第1のユーザの位置と、現実物データが示す現実物の位置との間の座標差を算出することにより、第1のユーザと現実物との距離を算出できる。警告判定部104は、表示装置120が有する距離センサにより、第1のユーザと現実物の距離を計測してもよい。また、警告判定部104は、第2のユーザが現実物である場合には、表示装置220が発する電波を受信して、受信した電波の強さに応じて、第2のユーザと第1のユーザとの距離を計測してもよい。なお、警告判定部104は、ユーザが現実物と接触の可能性を検知できれば、他の判定方法を用いてもよい。
例えば、特許文献3のように、警告判定部104は、第1のユーザの位置姿勢から第1のユーザの存在する領域を推定する。そして、警告判定部104は、第1のユーザが存在する領域と現実物との距離が閾値Th1以内であるか否かに応じて、接触の可能性が高いことを警告するか否かを判定してもよい。
警告判定部104は、さらに、第1のユーザと現実物の距離に加えて、第1のユーザが表示装置120を見ているか否かに応じて、接触の可能性が高いことを警告するか否かを判定してもよい。つまり、警告判定部104は、第1のユーザが表示装置120を見ていなければ、接触の可能性が高いことを警告しないと判定してもよい。この場合には、画像生成部107は、第1のユーザの接触の可能性が高いことを警告(通知)しないように表示装置120を制御する(XR画像に警告アイテムを重畳しないようにする)。表示装置120がタブレットのような手で保持する装置であれば、第1のユーザがXR体験に没入している場合には、第1のユーザが周囲を確認していない可能性が高いため、接触の可能性が高いことを警告する必要性が高い。一方で、第1のユーザがXR体験に没入していない場合には、第1のユーザが周囲を確認している可能性が高いため、接触の可能性が高いことを警告する必要性が低い。すなわち、第1のユーザが表示装置120を見ていない場
合には、接触の可能性が高いことを警告する必要性が低い。なお、第1のユーザが表示装置120を見ているか否かは、表示装置120の内側カメラが画像を取得し、視線検出を行うことにより判定できる。
すなわち、警告判定部104は、第1のユーザと現実物との距離が閾値Th1以内であり、かつ、第1のユーザが表示装置120を見ている場合に、接触の可能性が高いことを警告(通知)すると判定してもよい。一方で、それ以外の場合には、警告判定部104は、接触の可能性が高いことを警告しないと判定してもよい。
データ保持部106は、仮想空間のデータを保持する。データ保持部106は、仮想空間のデータを、画像生成部107に出力する。仮想空間のデータとは、仮想空間を構成する仮想物体に関するデータ(仮想物体の形状の情報や位置姿勢の情報)、または仮想空間において光を照射する光源に関するデータなどである。
画像生成部107は、第1のユーザ(または表示装置120)の位置姿勢、仮想空間のデータおよび現実画像に基づき、XR画像(複合現実画像)を生成する。具体的には、画像生成部107は、現実画像が示す現実空間に対して、表示装置120の姿勢(または位置と姿勢)に基づき、仮想空間データが示す仮想物体を配置する。これにより、画像生成部107は、あたかも現実空間に仮想物体が配置されているかのようなXR画像を生成する。また、画像生成部107は、警告判定部104が接触の可能性が高いことを警告すると判定している場合には(第1の判定結果に応じて)、XR画像に第1の警告アイテム(警告マーク)を重畳して表示画像を生成する。画像生成部107は、接触の可能性が高いことを警告しないと判定された場合には、XR画像をそのまま表示画像として扱う。画像生成部107は、表示画像を表示部122(表示装置120)に出力する。これにより、画像生成部107は、表示部122の表示を制御する。画像生成部107は、さらに、表示画像を共有画像送信部110に出力する。
共有画像送信部110は、表示画像を「他視点画像」として第2の装置200に送信する。このとき、共有画像送信部110は、表示画像の画質またはフレームレートを変更した画像、または表示画像の一部を切り出した画像を「他視点画像」として第2の装置200に送信してもよい。
(第2の装置200の内部構成について)
図1を参照して、第2の装置200の内部構成について説明する。第2の装置200は、表示装置220を制御する制御装置(電子機器;情報処理装置)である。第2の装置200は、画像取得部201、計測部202、データ取得部203、警告判定部204、共有画像取得部205、表示制御部206を有する。
画像取得部201は、撮像部221が現実空間(表示装置220の前面の空間)を撮像した現実画像を取得する。画像取得部201は、取得した現実画像を計測部202に出力する。
計測部202は、計測部102と同様に、表示装置220の位置姿勢を計測する。そして、計測部202は、表示装置220の位置姿勢から、第2のユーザの位置姿勢を判定する。計測部202は、第2のユーザの位置姿勢の情報を警告判定部204に出力する。
データ取得部203は、データ取得部103と同様に、現実物の位置姿勢および形状の情報を取得する。ここで、現実物は、第2のユーザ以外のユーザ(第1のユーザ)を含む。データ取得部203は、現実物の位置姿勢および形状の情報を現実物データとして警告判定部204に出力する。
警告判定部204は、警告判定部104と同様に、第2のユーザの位置姿勢と、現実物データとに基づき、第2のユーザの接触(衝突)の可能性を判定する。警告判定部204は、警告判定部104と同様に、第2のユーザと現実物との距離、または第2のユーザが表示装置120を見ているか否かに応じて、第2のユーザの接触の可能性を判定する。そして、警告判定部204は、第2のユーザの接触(衝突)の可能性が高いことを警告(通知)するか否かを判定する。警告判定部204は、接触の可能性が高いことを警告するか否かを判定した結果(第2の判定結果)を表示制御部206に出力する。
共有画像取得部205は、「他視点画像」(XR画像)を送信するように、「他視点共有ユーザ」である第1のユーザに紐づく第1の装置100に要求する。共有画像取得部205は、「他視点画像」を取得すると、取得した「他視点画像」を表示制御部206に出力する。
表示制御部206は、表示部222の表示を制御する制御部である。表示制御部206は、警告判定部204における第2の判定結果と「他視点画像」とに基づき、表示部222に表示するための表示画像を制御する。表示画像の制御は、後述の図3Bのフローチャートに従った処理を実行することで実現される。表示制御部206は、表示画像を表示部222(表示装置220)に出力する。
(表示装置の内部構成について)
図1を参照して、表示装置120の内部構成について説明する。なお、表示装置120と表示装置220は、同様の構成を有するため、表示装置220の内部構成についての説明は省略する。表示装置120は、撮像部121と表示部122とを有する。
撮像部121は、現実空間を撮像することにより撮像画像を取得して、撮像画像を現実画像として第1の装置100に出力する。表示部122は、第1の装置100から取得した表示画像を表示する。
なお、実施形態1に係る表示装置120および表示装置220はHMD(ヘッドマウントディスプレイ)であるとして説明するが、これに限定されない。表示装置は、撮像部と表示部とを備えている装置であれば、任意の装置(例えば、スマートフォン、デジタルカメラ、またはタブレット端末など)であってよい。さらに、HMDは、ビデオシースルー型のHMD(撮像部により撮像された画像に基づき生成されたXR画像を、表示部に表示するHMD)であるとして説明する。しかしながら、表示装置120および表示装置220には、光学シースルー型のHMD(現実空間を透過して観察することが可能な表示媒体に仮想空間の画像を重畳して表示するHMD)を用いてもよい。
なお、表示装置120が、第1の装置100を含んでいてもよい。表示装置220が、第2の装置200を含んでいてもよい。さらに、表示装置120が、第1の装置100と第2の装置200を含んでいてもよい。表示装置220が、第1の装置100と第2の装置200を含んでいてもよい。
図2は、図1に示す各構成を実現するための、第1の装置100および第2の装置200のハードウェア構成図である。CPU11は、バス10を介して接続する各デバイス(各ハードウェア構成)を統括的に制御する。CPU11は、読み出し専用メモリ(ROM12)に記憶された処理ステップの情報やプログラムを読み出して実行する。ROM12には、オペレーティングシステム(OS)をはじめ、実施形態1に係るプログラム、デバイスドライバなどの情報が記憶されている。CPU11は、ROM12に記憶された情報をランダムアクセスメモリ(RAM13)に展開して(一時的に記憶させて)、実行する
ことができる。また、入力インターフェース14(入力I/F)は、第1の装置100および第2の装置200において処理可能な形式の入力信号を外部装置から取得する。また、出力インターフェース15(出力I/F)は、外部の装置において処理可能な形式の出力信号を外部装置に出力する。
(表示制御処理について)
図3Aおよび図3Bのフローチャートを参照して、第1の装置100および第2の装置200の表示を制御する処理(表示制御処理)を説明する。図3Aは、第1の装置100が実行する処理を示す。図3Bは、第2の装置200が実行する処理を示す。
表示制御処理についての説明では、図4に示すように、第1のユーザ402が表示装置120を頭部に装着しており、第2のユーザ404が表示装置220を頭部に装着していると仮定する。そして、第1のユーザ402は、表示装置120に表示されるXR画像406を見ている。ここで、XR画像406は、現実物400と仮想物体401を含む仮想空間の画像である。第2のユーザ404は、表示装置220に表示されるXR画像407を見ている。XR画像407の内容は、警告アイテム(表示アイテム)以外については、XR画像406と同一の内容である。なお、XR画像407は、XR画像406とは画質またはフレームレートが異なる画像であってもよいし、XR画像406の一部の範囲の画像であってもよい。
まず、図3Aのフローチャートを参照して、第1の装置100が実行する処理について説明する。図3Aのフローチャートの処理は、画像取得部101が1つのフレームに対応する現実画像を取得するたびに、開始する。
ステップS300において、計測部102は、画像取得部101から現実画像を取得する。そして、計測部102は、現実画像に基づき、第1のユーザ402の位置姿勢を計測(推定)する。
ステップS301において、画像生成部107は、表示装置120の姿勢に基づくXR画像を生成する。具体的には、画像生成部107は、現実画像が示す現実空間において、表示装置120の姿勢(位置姿勢)に基づく位置に仮想物体を配置したXR画像を生成する。
ステップS302において、警告判定部104は、第1のユーザ402と現実物400との接触の可能性が閾値Thより高いか否かを判定する。具体的には、警告判定部104は、第1のユーザ402と現実物400との距離が閾値Th1以内であるか否かを判定する(第1の警告判定を行う)。第1のユーザ402と現実物400との距離が閾値Th1以内であると判定された場合には、第1のユーザ402と現実物400との接触の可能性が閾値Thよりも高いと判定され、ステップS303に進む。第1のユーザ402と現実物400との距離が閾値Th1より大きいと判定された場合には、ステップS304に進む。
ステップS303において、画像生成部107は、第1のユーザ402の接触の可能性が高いことを警告するための第1の警告アイテムをXR画像(表示装置120の姿勢に基づくXR画像)に重畳して表示画像を生成する。図5Aは、ステップS303の処理後におけるXR画像の例を示しており、三角形の第1の警告アイテム501がXR画像500に重畳されている。
ステップS304において、共有画像送信部110は、画像生成部107が生成した表示画像を「他視点画像」として第2の装置200に送信する。このとき、第1のユーザ4
02と現実物400との距離が閾値Th1以内であれば(ステップS302でYES)、表示画像は、表示装置120の姿勢に基づくXR画像に、第1の警告アイテムが重畳された画像である。一方で、このとき、第1のユーザ402と現実物400との距離が閾値Th1より大きければ(ステップS302でNO)、表示画像は、表示装置120の姿勢に基づくXR画像(第1の警告アイテムが重畳されていないXR画像)である。
ステップS305において、画像生成部107は、表示装置120(第1の表示装置)に表示画像を送信する。これにより、画像生成部107は、表示画像を表示するように表示部122を制御する。
続いて、図3Bのフローチャートを参照して、第2の装置200が実行する処理について説明する。図3Bのフローチャートの処理は、画像取得部201が1つのフレームに対応する現実画像を取得するたびに、開始する。
ステップS310において、共有画像取得部205は、「他視点画像」を第1の装置100から取得したか否かを判定する。「他視点画像」が取得されたと判定された場合には、ステップS311に進む。「他視点画像」が取得されていないと判定された場合には、ステップS310の処理が繰り返される。「他視点画像」が取得されていないと判定された場合には、さらに、共有画像取得部205は、共有画像送信部110に「他視点画像」を送信するように要求してもよい。
ステップS311において、計測部202は、画像取得部201から現実画像を取得する。計測部202は、現実画像に基づき、第2のユーザ404の位置姿勢を計測する。
ステップS312において、警告判定部204は、第2のユーザ404と現実物400との接触の可能性が閾値Thより高いか否かを判定する。具体的には、警告判定部204は、第2のユーザ404と現実物400との距離が閾値Th2(所定距離)以内であるか否かを判定する(第2の警告判定を行う)。第2のユーザ404と現実物400との距離が閾値Th2以内と判定された場合には、第2のユーザ404と現実物400との接触の可能性が閾値Thより高いと判定されて、ステップS313に進む。第2のユーザ404と現実物400との距離が閾値Th2よりも大きいと判定された場合には、第2のユーザ404と現実物400との接触の可能性が閾値Th以下であると判定されて、ステップS314に進む。
なお、警告判定部204は、ステップS312において、第2のユーザ404と現実物400との接触の可能性が閾値Thより高いか否かを判定できればよい。このため、上記の「第2のユーザ404と現実物400との距離」を、「第2のユーザ404と現実物400との距離を、第2のユーザ404と現実物400とが近づく速度(接近速度)で除算した値」と読み替えてもよい。これは、接近速度が速いほど、接触の可能性が高くなるためである。つまり、このように読み替えることにより、警告判定部204は、さらに精度高く、接触の可能性を判定できる。なお、このような読み替えは、第1のユーザ402と現実物400との接触の可能性の判定(ステップS302)にも適用することができる。
ステップS313において、表示制御部206は、共有画像取得部205が取得した「他視点画像」に対して、第2のユーザの接触の可能性が高いことを警告するための第2の警告アイテムを重畳する。ここで、第2の警告アイテムは、第1の警告アイテムとは異なる警告アイテムである。第2の警告アイテムは、例えば、第1の警告アイテムよりも目立つような警告アイテムである。
なお、第1のユーザ402の接触の可能性が所定値より高い場合には、共有画像取得部
205が取得した「他視点画像」は、図5Aに示すように、第1の警告アイテム501を含むXR画像である。そこで、このような場合には、表示制御部206は、図5Bに示すように、第1の警告アイテム501の全体を覆うように、第2の警告アイテム502をXR画像500に重畳させる。これによれば、第2のユーザ404は、表示装置220に表示されるXR画像において、第2の警告アイテム502のみを認識することができる。
ステップS314において、表示制御部206は、表示装置220(第2の表示装置)に「他視点画像」を表示画像として送信する。これによって、表示制御部206は、表示画像を表示するように表示部222を制御する。
実施形態1によれば、情報処理システム1は、特定のユーザが見る表示装置において、「他視点共有ユーザ」に警告するための第1の警告アイテムと、当該特定のユーザに警告するための第2の警告アイテムとの表示形態を異ならせる。このことにより、ユーザは、他のユーザの保持する表示装置に基づくXR画像を見ている場合に、誰に対して警告が行われているのかを把握できる。
実施形態1では、情報処理システム1は、第1の警告アイテムと第2の警告アイテムとで、図5Aおよび図5Bに示すようにアイコンを変えた。しかしながら、ユーザに対して、自分自身に接触の可能性があるのか、「他視点共有ユーザ」に接触の可能性があるのかを把握させることができれば、任意の表示形態の警告アイテム(表示アイテム)を用いることができる。例えば、第1の警告アイテムと第2の警告アイテムとは、互いに異なる文言を含むメッセージウィンドウであってもよい。第1の警告アイテムと第2の警告アイテムのうち一方はアイコンであり、他方はメッセージウィンドウであってもよい。
さらに、表示制御部206は、第2のユーザが物(人物以外の物体)と接触する可能性が閾値Thよりも高い場合と、第2のユーザが人物と接触する可能性が閾値Thよりも高い場合とで、警告アイテムの表示形態(通知形態)を異ならせてもよい。具体的には、人と人との接触の方が、接触による被害の影響が大きくなる可能性がある。このため、例えば、表示制御部206は、第2のユーザが物と接触する可能性が閾値Thよりも高い場合よりも、人物と接触する可能性が閾値Th2よりも高い場合の方が、第2の警告アイテムを大きくし、かつ、明るい色にする。なお、物と人物ではなく、特定のユーザと第2のユーザが接触する可能性が閾値Thよりも高い場合と、当該特定のユーザ以外と第2のユーザが接触する可能性が閾値Thよりも高い場合とで、警告アイテムの表示形態が異なっていてもよい。ここで、特定のユーザとは、第1のユーザであってもよいし、XR画像を見るための表示装置(第1の装置から「他視点画像」を取得可能な表示装置)を使用しているユーザであってもよい。
(変形例1)
実施形態1では、共有画像送信部110から送信される「他視点画像」に第1の警告アイテムが含まれていても、表示制御部206は、第1の警告アイテムとは異なる第2の警告アイテムを「他視点画像」に重畳する。このことで、第2のユーザは、「他視点共有ユーザ」である第1のユーザに接触の可能性があるのか、自分自身(第2のユーザ)に接触の可能性があるのかを把握できる。しかし、表示制御部206は共有画像送信部110から送信される「他視点画像」に第1の警告アイテムが含まれている場合には、接触の可能性が「他視点共有ユーザ」にあることを明示するように第1の警告アイテムを上書きしてもよい。このとき、表示制御部206は、第1の警告アイテムの表示形態を変更してもよいし、第1の警告アイテムに対して他の警告アイテムを重畳させてもよい。
例えば、共有画像送信部110は、XR画像と第1の判定結果とを互いに紐づけて送信する。すると、共有画像取得部205は、XR画像と第1の判定結果を取得する。その後
、表示制御部206は、第1の判定結果に基づき、接触の可能性が高いことを警告するか否かを判定する。表示制御部206は、接触の可能性が高いことを警告すると判定した場合に、図6に示すように「他視点共有ユーザ」に接触の可能性が高いことを文字により示すような、警告アイテム600を表示する。
以上により、ユーザは、他のユーザの保持する表示装置に基づくXR画像を見ている際に、自分自身と「他視点共有ユーザ」とのいずれに接触の可能性があるのかを、より正確に把握できる。
<実施形態2>
実施形態1では、第1のユーザの保持する表示装置に基づくXR画像を第2のユーザが見ている(XR画像でXR体験を行っている)場合に、接触の可能性が高いことを警告する情報処理システム1を説明した。実施形態2では、第2のユーザが保持する表示装置に基づくXR画像と、第1のユーザの保持する表示装置に基づくXR画像とのいずれを第2の第2のユーザが見るかを切り替え可能な情報処理システム2について説明する。
図7は、実施形態2に係る情報処理システム2の構成図である。図7では、実施形態1(図1)と異なる構成についてのみ詳細に説明し、その他の構成についての説明は省略する。
情報処理システム2は、表示装置120、第1の装置100、表示装置700を有する。第1の装置100と表示装置700とは、互いに通信可能なように接続されている。
図7を参照して、表示装置700の内部構成について説明する。表示装置700は、撮像部221、表示部222、第2の装置710を有する。実施形態2において、表示装置700は、タブレット端末であるとする。表示装置700は、撮像部221と表示部222と情報処理部(第2の装置710)とを備えている装置であれば、任意の装置であってよい。表示装置700は、例えば、スマートフォンなどの携帯端末であってもよいし、スタンドアロン型のHMDであってもよい。
図8Aおよび図8Bは、表示装置700(第2のユーザ404が保持する表示装置)に基づくXR画像を第2のユーザ404が見ている例と、第1のユーザ402の保持する表示装置120に基づくXR画像を第2のユーザ404が見ている例を表す図である。図8Aおよび図8Bにおいて、図4と同じ構成には同じ番号を付けており、その構成の説明は省略する。
図8Aは、第2のユーザ404が、表示装置700に基づくXR画像を見ている例を示す。表示装置700に表示されるXR画像802は、表示装置700の撮像部221が取得した現実画像に仮想物体401の画像が重畳されたXR画像である。
図8Bは、第2のユーザ404が、第1のユーザ402が保持する表示装置120に基づくXR画像を見ている例である。表示装置700に表示されるXR画像803は、表示装置120の撮像部121が取得した現実画像に仮想物体401の画像が重畳されたXR画像である。
データ保持部711は、データ保持部106と同様に、仮想空間のデータを保持する。データ保持部711は、仮想空間のデータを画像生成部712に出力する。
画像生成部712は、画像生成部107と同様に、撮像部221が現実空間を撮像した現実画像に基づき、XR画像を生成する。以下では、画像生成部712が生成したXR画
像を「自視点画像」と呼ぶ。画像生成部712は、「自視点画像」を表示制御部714に出力する。
モード選択部713は、表示装置700の表示モードを選択する。具体的には、モード選択部713は、画像生成部712が生成した「自視点画像」を表示する表示モードと、第1の装置100が生成した「他視点画像」(XR画像)を表示する表示モードとのいずれかを選択する。以降では、画像生成部712が生成した「自視点画像」を表示する表示モードを「自視点モード」と呼ぶ。第1の装置100が生成した「他視点画像」を表示する表示モードを「他視点モード」と呼ぶ。モード選択部713は、選択した表示モードの情報を表示制御部714に出力する。
モード選択部713は、他視点モードを選択した場合には、続いて、「他視点共有ユーザ」を選択する。この際、「他視点共有ユーザ」として選択されることが可能なユーザは、自視点モードが選択されている情報処理装置(表示装置)に紐づくユーザのみである。この場合には、モード選択部713は、「他視点共有ユーザ」の情報を、表示制御部714に出力する。
表示制御部714は、モード選択部713から取得した表示モードの情報に応じて、表示画像を制御する。表示制御部714は、表示装置700の表示モードに応じて、画像生成部712もしくは共有画像取得部205に対して要求を行い、「自視点画像」または「他視点画像」を取得する。そして、表示制御部714は、取得した画像に基づき、表示画像を生成する。表示画像の生成は後述のフローチャート(図9B参照)に従った処理を実行することで実現される。表示制御部714は、表示画像を表示部222に出力する。
図9Aおよび図9Bのフローチャートを参照して、第1の装置100および第2の装置710が表示を制御する処理(表示制御処理)を説明する。図9Aは、第1の装置100が実行する処理を示す。図9Bは、第2の装置710が実行する処理を示す。以下において、図3Aおよび図3Bと同じステップについては、説明は省略する。
まず、図9Aのフローチャートを参照して、第1の装置100が実行する処理について説明する。図9Aのフローチャートの処理は、画像取得部101が1つのフレームに対応する現実画像を取得するたびに、開始する。
ステップS900において、共有画像送信部110は、共有画像取得部205からの表示モードの通知に基づき、表示装置700の表示モードを判定する。表示装置700の表示モードが自視点モードであると判定された場合には、ステップS305に進む。表示装置700の表示モードが他視点モードであると判定された場合には、ステップS304に進む。
続いて、図9Bのフローチャートを参照して、第2の装置710が実行する処理について説明する。図9Bのフローチャートの処理は、画像取得部201が1つのフレームに対応する現実画像を取得するたびに、開始する。
ステップS910において、共有画像取得部205は、モード選択部713が選択している表示モード(表示装置700の表示モード)を第1の装置100に通知する。共有画像取得部205は、表示装置700の表示モードが他視点モードであれば、表示モードの通知により、「他視点画像」の送信を共有画像送信部110に要求しているといえる。
ステップS911において、表示制御部714は、モード選択部713が選択している表示モードを判定する。モード選択部713が自視点モードを選択していると判定された
場合には、ステップS912に進む。モード選択部713が他視点モードを選択していると判定された場合には、ステップS310に進む。
ステップS912において、表示制御部714は、「自視点画像」を生成するように画像生成部712に要求する。画像生成部712は、表示制御部714からの要求に応じて、撮像部221が取得した現実画像に基づく「自視点画像」(XR画像)を生成する。
ステップS913において、計測部202は、ステップS311と同様に、第2のユーザの位置姿勢を計測する。
ステップS914において、警告判定部204は、ステップS312と同様に、第2のユーザと現実物との距離が閾値Th2以内であるか否かを判定する。第2のユーザと現実物との距離が閾値Th2以内であると判定された場合(つまり、第2のユーザと現実物とが接触する可能性が閾値Thより高いと判定された場合)には、ステップS915に進む。第2のユーザと現実物との距離が閾値Th2より大きいと判定された場合には、ステップS916に進む。
ステップS915において、表示制御部714は、「自視点画像」に、第2のユーザの接触の可能性が高いことを警告するための第3の警告アイテムを重畳する。例えば、図10に示すように、第3の警告アイテム1001がXR画像1000に重畳される。第3の警告アイテム1001は、図5Aおよび図5Bに示すような第1の警告アイテム501および第2の警告アイテム502とは異なる形態の表示アイテムである。
ステップS916において、表示制御部714は、表示部222に表示画像を送信する。ここで、表示装置700の表示モードが自視点モードであれば、表示画像は「自視点画像」であり、表示装置700の表示モードが他視点モードであれば、表示画像は「他視点画像」である。
実施形態2において、第1の警告アイテムと第2の警告アイテムと第3の警告アイテムとは、それぞれ異なる予め定められた形態の警告アイテムであるとする。しかし、例えば、警告アイテムの形態は、ユーザによって任意に決定できてもよい。例えば、第1の装置100の設定部(不図示)または第2の装置710の設定部(不図示)が、ユーザの操作に応じて、各警告アイテムの形態を設定してもよい。
設定部は、警告アイテムの情報(警告アイテムとして表示するGUI、および警告アイテムの配置)を設定するためのGUIを呼び出す。そして、設定部は、ユーザの操作に応じて、警告アイテムの情報を設定する。画像生成部107は、第1の警告アイテムのGUIおよび配置の情報に基づき、第1の警告アイテムをXR画像に重畳する。第2の装置710の設定部は、第2の警告アイテムおよび第3の警告アイテムのGUIと配置の情報を表示制御部714に出力する。表示制御部714は、表示モードが自視点モードである場合には、取得した情報に基づき第3の警告アイテムを「自視点画像」に重畳する。表示モードが他視点モードである場合には、取得した情報に基づき第2の警告アイテムを「他視点画像」重畳する。
このように、第1の警告アイテムと第2の警告アイテムと第3の警告アイテムの形態を異ならせることで、ユーザは、自分自身と「他視点共有ユーザ」とのいずれに接触の可能性があるのかとともに、表示装置700の表示モードを正確に把握することができる。
(変形例2)
変形例2では、情報処理システム2は、第2のユーザが現実物に接触する可能性に応じ
て表示部222に表示する画像を切り替える。表示モードが他視点モードである場合には、第2のユーザは、現実空間において周囲が見えないため、現実物との接触の可能性が高まる。このため、情報処理システム2は、第2のユーザと現実物の距離が閾値以内(所定距離以内)の場合には、「自視点画像」(撮像部221が取得した現実画像に基づくXR画像)を表示画像として使用するようにしてもよい。
図11に示すフローチャートを参照して、変形例2に係る第2の装置710が実行する表示制御処理について説明する。以下において、図3Bまたは図9Bと同じステップには同じ参照番号を付けており、その説明は省略する。
ステップS1100の処理は、ステップS911において表示装置700の表示モードが他視点モードであると判定されると開始する。ステップS1100において、計測部202は、ステップS311およびS913と同様に、第2のユーザの位置姿勢を計測する。
ステップS1101において、警告判定部204は、第2のユーザと現実物との距離が閾値Th2以内であるか否かを判定する。第2のユーザと現実物との距離が閾値Th2以内であると判定された場合(つまり、第2のユーザと現実物との接触の可能性が閾値Thよりも高いと判定された場合)には、ステップS1103に進む。第2のユーザと現実物との距離が閾値Th2より大きいと判定された場合は、ステップS1102に進む。
ステップS1102において、表示制御部714は、共有画像取得部205が「他視点画像」を取得したか否かを判定する。「他視点画像」が取得されたと判定された場合には、ステップS313に進む。「他視点画像」が取得されていないと判定された場合には、ステップS1102の処理が繰り返される。
ステップS1103において、表示制御部714は、ステップS912と同様に、「自視点画像」を生成するように画像生成部712に要求する。画像生成部712は、表示制御部714からの要求に応じて、撮像部221が取得した現実画像に基づく「自視点画像」を生成する。
以上により、情報処理システム2は、第2のユーザが、第1のユーザの保持する表示装置に基づいたXR画像を見ている際に、第2のユーザと現実物との接触の可能性がある場合に、第2のユーザが保持する表示装置に基づくXR画像に切り替える。これにより、第2のユーザは、自身の周囲の状況を把握可能になるため、第2のユーザ自身に接触の可能性があるか否かを把握できる。
変形例2では、情報処理システム2は、表示装置700の表示モードが他視点モードであり、かつ、第2のユーザと現実物の距離が閾値Th2以内の場合に、表示画像として「自視点画像」のみを使用したが、「他視点画像」も使用してもよい。すなわち、情報処理システム2は、表示モードが他視点モードであり、かつ、第2のユーザと現実物の距離が閾値Th2以内の場合には、「自視点画像」の一部に「他視点画像」と警告アイテムを重畳してもよい。例えば、表示制御部714は、図12に示すように、「自視点画像」であるXR画像1200の一部に、警告アイテム1201と「他視点画像」であるXR画像1202を重畳してもよい。これは、表示制御部714が、共有画像取得部205から「他視点画像」を取得し、「他視点画像」を表示画像に重畳する処理をさらに行うことにより実現できる。
(変形例3)
変形例2では、情報処理システム2は、表示装置700の表示モードが他視点モードで
あり、かつ、第2のユーザと現実物の距離が閾値Th2以内の場合に、表示装置700の表示画像を「他視点画像」から「自視点画像」に切り替えた。しかし、情報処理システム2は、このような場合に、表示モードを変更してもよい。
モード選択部713は、表示装置700の表示モードが他視点モードであり、かつ、第2のユーザと現実物の距離が閾値Th2以内の場合には、表示モードを自視点モードに切り替える。
以上によっても、第2のユーザが「他視点画像」を見ている際に、第2のユーザに接触の可能性が高ければ、表示装置700に表示する画像を「自視点画像」に切り替えることができる。これにより、第2のユーザは、自分自身に接触の可能性が高いか否かを把握できる。
また、上記の各実施形態および各変形例では、情報処理システムは、警告アイテムを表示することにより接触の可能性(危険性)が高いことを警告した。ここで、情報処理システムは、警告アイテムの表示に加えて(または警告アイテムの表示に代えて)、音声や振動による警告を行ってもよい。つまり、表示制御部は、表示装置が有する音声出力部から音声を出力させる(発する)こと、または、表示装置を振動させることにより、ユーザと現実物の接触の可能性が高いことを警告させてもよい。情報処理システムは、さらに、表示モードに応じて、音声や振動パターンを異ならせてもよい。
また、上記の各実施形態および各変形例では、XR画像は、現実画像が示す現実空間に対して、仮想空間データが示す仮想物体を配置した画像である。しかし、XR画像は、表示装置の姿勢に基づく画像であれば、VR画像であってもよい。つまり、XR画像は、現実画像に関わらず、表示装置の姿勢に基づき仮想物体が配置された画像であってもよい。
また、上記において、「AがB以上の場合にはステップS1に進み、AがBよりも小さい(低い)場合にはステップS2に進む」は、「AがBよりも大きい(高い)場合にはステップS1に進み、AがB以下の場合にはステップS2に進む」と読み替えてもよい。逆に、「AがBよりも大きい(高い)場合にはステップS1に進み、AがB以下の場合にはステップS2に進む」は、「AがB以上の場合にはステップS1に進み、AがBよりも小さい(低い)場合にはステップS2に進む」と読み替えてもよい。このため、矛盾が生じない限り、「A以上」という表現は、「AまたはAよりも大きい(高い;長い;多い)」と置き換えてもよいし、「Aよりも大きい(高い;長い;多い)」と読み替えてよく、置き換えてもよい。一方で、「A以下」という表現は、「AまたはAよりも小さい(低い;短い;少ない)」と置き換えてもよいし、「Aよりも小さい(低い;短い;少ない)」と置き換えても読み替えてもよい。 そして、「Aよりも大きい(高い;長い;多い)」は
、「A以上」と読み替えてもよく、「Aよりも小さい(低い;短い;少ない)」は「A以下」と読み替えてもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
なお、上記の各実施形態(各変形例)の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プ
ログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
(構成1)
第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を取得する取得手段と、
第2のユーザの接触の可能性を判定する判定手段と、
前記第1の画像を表示するように、前記第2のユーザが使用する第2の表示装置を制御する表示制御手段と、
前記第2のユーザの接触の可能性が閾値より高いと判定された場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する制御手段と、
を有することを特徴とする情報処理装置。
(構成2)
前記第1の画像は、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合には、第1の表示アイテムを含み、
前記制御手段は、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記第1の表示アイテムとは異なる第2の表示アイテムを前記第1の画像とともに表示するように前記第2の表示装置を制御する、
ことを特徴とする構成1に記載の情報処理装置。
(構成3)
前記制御手段は、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合であって、前記第1の画像が前記第1の表示アイテムを含む場合には、前記第1の表示アイテムの全体を覆うように前記第2の表示アイテムを前記第1の画像に重畳させた画像を表示するように前記第2の表示装置を制御する、
ことを特徴とする構成2に記載の情報処理装置。
(構成4)
前記制御手段は、前記第2の表示装置から音声を発すること、または、前記第2の表示装置を振動させることにより、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する、
ことを特徴とする構成1に記載の情報処理装置。
(構成5)
前記判定手段は、物体と前記第2のユーザとの接触の可能性を判定する、
ことを特徴とする構成1から4のいずれか1項に記載の情報処理装置。
(構成6)
前記制御手段は、特定の表示装置を使用しているユーザと前記第2のユーザとの接触の可能性が前記閾値よりも高い場合と、前記特定の表示装置を使用しているユーザ以外と前記第2のユーザとの接触の可能性が前記閾値よりも高い場合とで、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知する通知の形態を異ならせる、
ことを特徴とする構成5に記載の情報処理装置。
(構成7)
前記判定手段は、1)前記物体と前記第2のユーザとの距離が所定距離より短ければ、前記第2のユーザの接触の可能性が前記閾値より高いと判定し、2)前記物体と前記第2のユーザとの距離が前記所定距離より長ければ、前記第2のユーザの接触の可能性が前記閾値より低いと判定する、
ことを特徴とする構成5または6に記載の情報処理装置。
(構成8)
前記制御手段は、前記第2のユーザが前記第2の表示装置を見ていない場合には、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知しないように前記第2の表示装置を制御する、
ことを特徴とする構成1から7のいずれか1項に記載の情報処理装置。
(構成9)
前記第2の表示装置の表示モードを選択する選択手段をさらに有し、
前記表示制御手段は、前記選択手段が特定の表示モードを選択している場合には、前記第2の表示装置の姿勢に基づく第2の画像を表示するように、前記第2の表示装置を制御する、
ことを特徴とする構成1から8のいずれか1項に記載の情報処理装置。
(構成10)
前記第2の表示装置は、前記第2の表示装置の前面の空間を撮像することにより撮像画像を取得し、
前記情報処理装置は、前記撮像画像に基づき前記第2の画像を生成する生成手段を有する、
ことを特徴とする構成9に記載の情報処理装置。
(構成11)
前記表示制御手段は、前記選択手段が前記特定の表示モードを選択していない場合であって、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、表示する画像を前記第1の画像から前記第2の画像に切り替えるように前記第2の表示装置を制御する、
ことを特徴とする構成10に記載の情報処理装置。
(構成12)
前記表示制御手段は、前記選択手段が前記特定の表示モードを選択していない場合であって、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記第2の画像のうち一部の範囲に前記第1の画像を重畳した画像を表示するように前記第2の表示装置を制御する、
ことを特徴とする構成10に記載の情報処理装置。
(構成13)
前記選択手段は、前記選択手段が前記特定の表示モードを選択していない場合であって、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記表示モードを前記特定の表示モードに切り替える、
ことを特徴とする構成10に記載の情報処理装置。
(構成14)
前記制御手段は、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記選択手段が選択した表示モードに応じて異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する、
ことを特徴とする構成9から12のいずれか1項に記載の情報処理装置。
(構成15)
前記第1の表示装置および前記第2の表示装置は、ヘッドマウントディスプレイである、
ことを特徴とする構成1から14のいずれか1項に記載の情報処理装置。
(構成16)
前記第1の画像は、前記第1の表示装置に表示される画像と同一の内容の画像である、ことを特徴とする構成1から15のいずれか1項に記載の情報処理装置。
(システム1)
構成1から16のいずれか1項に記載の情報処理装置と、
前記第1のユーザの接触の可能性が前記閾値よりも高い場合には、前記第1のユーザの接触の可能性があることを前記第1のユーザに通知するように前記第1の表示装置を制御する第2の制御手段を有する、
ことを特徴とする情報処理システム。
(第2の構成1)
表示装置であって、
第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を表示する表示手段と、
前記表示装置を使用する第2のユーザの接触の可能性が閾値より高い場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記表示手段を制御する制御手段と、
を有することを特徴とする表示装置。
(方法1)
第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を取得する取得ステップと、
第2のユーザの接触の可能性を判定する判定ステップと、
前記第1の画像を表示するように、前記第2のユーザが使用する第2の表示装置を制御する表示制御ステップと、
前記第2のユーザの接触の可能性が閾値より高いと判定された場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する制御ステップと、
を有することを特徴とする情報処理方法。
(プログラム1)
コンピュータを、構成1から16のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。
1:情報処理システム、100:第1の装置、200:第2の装置、
120:表示装置、220:表示装置、204:警告判定部、
205:共有画像取得部、206:表示制御部

Claims (20)

  1. 第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を取得する取得手段と、
    第2のユーザの接触の可能性を判定する判定手段と、
    前記第1の画像を表示するように、前記第2のユーザが使用する第2の表示装置を制御する表示制御手段と、
    前記第2のユーザの接触の可能性が閾値より高いと判定された場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する制御手段と、
    を有することを特徴とする情報処理装置。
  2. 前記第1の画像は、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合には、第1の表示アイテムを含み、
    前記制御手段は、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記第1の表示アイテムとは異なる第2の表示アイテムを前記第1の画像とともに表示するように前記第2の表示装置を制御する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記制御手段は、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合であって、前記第1の画像が前記第1の表示アイテムを含む場合には、前記第1の表示アイテムの全体を覆うように前記第2の表示アイテムを前記第1の画像に重畳させた画像を表示するように前記第2の表示装置を制御する、
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記制御手段は、前記第2の表示装置から音声を発すること、または、前記第2の表示装置を振動させることにより、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する、
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記判定手段は、物体と前記第2のユーザとの接触の可能性を判定する、
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記制御手段は、特定の表示装置を使用しているユーザと前記第2のユーザとの接触の可能性が前記閾値よりも高い場合と、前記特定の表示装置を使用しているユーザ以外と前記第2のユーザとの接触の可能性が前記閾値よりも高い場合とで、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知する通知の形態を異ならせる、
    ことを特徴とする請求項5に記載の情報処理装置。
  7. 前記判定手段は、1)前記物体と前記第2のユーザとの距離が所定距離より短ければ、前記第2のユーザの接触の可能性が前記閾値より高いと判定し、2)前記物体と前記第2のユーザとの距離が前記所定距離より長ければ、前記第2のユーザの接触の可能性が前記閾値より低いと判定する、
    ことを特徴とする請求項5に記載の情報処理装置。
  8. 前記制御手段は、前記第2のユーザが前記第2の表示装置を見ていない場合には、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知しないように前記第2の表示装置を制御する、
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  9. 前記第2の表示装置の表示モードを選択する選択手段をさらに有し、
    前記表示制御手段は、前記選択手段が特定の表示モードを選択している場合には、前記第2の表示装置の姿勢に基づく第2の画像を表示するように、前記第2の表示装置を制御する、
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  10. 前記第2の表示装置は、前記第2の表示装置の前面の空間を撮像することにより撮像画像を取得し、
    前記情報処理装置は、前記撮像画像に基づき前記第2の画像を生成する生成手段を有する、
    ことを特徴とする請求項9に記載の情報処理装置。
  11. 前記表示制御手段は、前記選択手段が前記特定の表示モードを選択していない場合であって、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、表示する画像を前記第1の画像から前記第2の画像に切り替えるように前記第2の表示装置を制御する、
    ことを特徴とする請求項10に記載の情報処理装置。
  12. 前記表示制御手段は、前記選択手段が前記特定の表示モードを選択していない場合であって、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記第2の画像のうち一部の範囲に前記第1の画像を重畳した画像を表示するように前記第2の表示装置を制御する、
    ことを特徴とする請求項10に記載の情報処理装置。
  13. 前記選択手段は、前記選択手段が前記特定の表示モードを選択していない場合であって、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記表示モードを前記特定の表示モードに切り替える、
    ことを特徴とする請求項10に記載の情報処理装置。
  14. 前記制御手段は、前記第2のユーザの接触の可能性が前記閾値より高いと判定された場合には、前記選択手段が選択した表示モードに応じて異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する、
    ことを特徴とする請求項9に記載の情報処理装置。
  15. 前記第1の表示装置および前記第2の表示装置は、ヘッドマウントディスプレイである、
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  16. 前記第1の画像は、前記第1の表示装置に表示される画像と同一の内容の画像である、ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  17. 請求項1から4のいずれか1項に記載の情報処理装置と、
    前記第1のユーザの接触の可能性が前記閾値よりも高い場合には、前記第1のユーザの接触の可能性があることを前記第1のユーザに通知するように前記第1の表示装置を制御する第2の制御手段を有する、
    ことを特徴とする情報処理システム。
  18. 表示装置であって、
    第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を表示する表示手段と、
    前記表示装置を使用する第2のユーザの接触の可能性が閾値より高い場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記表示手段を制御する制御手段と、
    を有することを特徴とする表示装置。
  19. 第1のユーザが使用する第1の表示装置の姿勢に基づく第1の画像を取得する取得ステップと、
    第2のユーザの接触の可能性を判定する判定ステップと、
    前記第1の画像を表示するように、前記第2のユーザが使用する第2の表示装置を制御する表示制御ステップと、
    前記第2のユーザの接触の可能性が閾値より高いと判定された場合には、前記第1のユーザの接触の可能性があることが前記第2のユーザに通知される場合とは異なる通知の形態によって、前記第2のユーザの接触の可能性があることを前記第2のユーザに通知するように前記第2の表示装置を制御する制御ステップと、
    を有することを特徴とする情報処理方法。
  20. コンピュータを、請求項1から4のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。
JP2022067075A 2022-04-14 2022-04-14 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム Pending JP2023157275A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022067075A JP2023157275A (ja) 2022-04-14 2022-04-14 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム
PCT/JP2023/001093 WO2023199564A1 (ja) 2022-04-14 2023-01-17 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022067075A JP2023157275A (ja) 2022-04-14 2022-04-14 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
JP2023157275A true JP2023157275A (ja) 2023-10-26

Family

ID=88329554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022067075A Pending JP2023157275A (ja) 2022-04-14 2022-04-14 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム

Country Status (2)

Country Link
JP (1) JP2023157275A (ja)
WO (1) WO2023199564A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017119032A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
JP7029526B2 (ja) * 2017-09-29 2022-03-03 アップル インコーポレイテッド 物理的境界監視器
US11361512B2 (en) * 2020-03-26 2022-06-14 Facebook Technologies, Llc. Systems and methods for detecting intrusion while in artificial reality

Also Published As

Publication number Publication date
WO2023199564A1 (ja) 2023-10-19

Similar Documents

Publication Publication Date Title
JP6619871B2 (ja) 媒介現実コンテンツの共有
JP5843340B2 (ja) 3次元環境共有システム及び3次元環境共有方法
US10884576B2 (en) Mediated reality
US10855925B2 (en) Information processing device, information processing method, and program
JP6675209B2 (ja) 情報処理装置およびユーザガイド提示方法
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
US20160379591A1 (en) Information processing apparatus, control method, and storage medium
JP6495538B2 (ja) イメージコンテンツ検索
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP6341759B2 (ja) 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
WO2023199564A1 (ja) 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム
US10831443B2 (en) Content discovery
JP2017134803A (ja) 情報処理装置、情報処理方法
CN108140357B (zh) 信息处理装置
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
KR20210147837A (ko) 전자 장치 및 그 동작 방법
JP2022181516A (ja) 表示方法、表示システム
JP2018205647A (ja) 頭部装着型表示装置
JP2021162876A (ja) 画像生成システム、画像生成装置及び画像生成方法