JP7447474B2 - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP7447474B2 JP7447474B2 JP2019229723A JP2019229723A JP7447474B2 JP 7447474 B2 JP7447474 B2 JP 7447474B2 JP 2019229723 A JP2019229723 A JP 2019229723A JP 2019229723 A JP2019229723 A JP 2019229723A JP 7447474 B2 JP7447474 B2 JP 7447474B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- aerial image
- movement
- person
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 70
- 238000013459 approach Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/346—Image reproducers using prisms or semi-transparent mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
請求項2に記載の発明は、プロセッサを有し、前記プロセッサは、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、前記像の移動が送信を表す場合、前記プロセッサは、当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させ、前記プロセッサは、前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現し、前記プロセッサは、前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する、情報処理装置である。
請求項3に記載の発明は、プロセッサを有し、前記プロセッサは、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する、情報処理装置である。
請求項4に記載の発明は、コンピュータに、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、前記像の移動が受信を表す場合、当該像のサイズを拡大させながら、当該像を人の方向に移動させる機能と、前記像を観察する人が実在する位置と、当該像に対応する送信元が実在する位置との関係を、当該像の移動の経路で表現する機能と、前記像に対応する送信元が当該像を観察する人の背後側に位置する場合、前方から受信されるときとは異なる色調で当該像を表現する機能と、を実現させるためのプログラムである。
請求項5に記載の発明は、コンピュータに、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、前記像の移動が送信を表す場合、当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させる機能と、前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現する機能と、前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する機能と、を実現させるためのプログラムである。
請求項6に記載の発明は、コンピュータに、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する機能と、を実現させるためのプログラムである。
請求項2記載の発明によれば、背後側への送信を実感させることができる。
請求項3記載の発明によれば、複数人に対する送受信の向きを容易に実感できる。
請求項4記載の発明によれば、背後側からの受信を実感させることができる。
請求項5記載の発明によれば、背後側への送信を実感させることができる。
請求項6記載の発明によれば、複数人に対する送受信の向きを容易に実感できる。
<実施の形態>
<システム構成>
図1は、実施の形態1で使用する情報処理システム1の構成例を示す図である。
図1に示す情報処理システム1は、空気中に浮かび上がるように像(以下「空中像」ともいう)を形成する空中像形成装置10と、空中像形成装置10等を制御する制御装置20と、空中像とその周辺の空間を撮像の範囲とするカメラ30とを有している。
本実施の形態の場合、空中像#1は、通信の対象であるデータ(以下「通信データ」という)の存在の表現に用いられる。換言すると、空中像#1は、サービスの利用者である人に対して、通信データの送受信を視覚的に提示する目的で使用される。通信データには、例えばメッセージ、データファイル、制御データが含まれる。
メッセージには、メールアドレスを宛先に用いるメッセージと、電話番号を宛先に用いるメッセージが含まれる。データファイルには、コンテンツデータの他、プログラムデータも含まれる。コンテンツデータには、例えば動画像データ、静止画像データ、オーディオデータ、ウェブデータ、制御データ、文書データが含まれる。
本実施の形態の場合、空中像#1が形成される位置は、空気中を移動する。空中像#1が移動する方向は、通信の方向を表している。従って、通信相手が同じでも、受信の場合と送信の場合とでは、空中像#1が移動する方向が異なる。空中像#1は、空気中を移動する像の一例である。
本実施の形態の場合、空中像#2は、空気中の特定の位置に静止した状態で形成される。空中像#2が静止した状態で空気中に形成されていることで、空中像#2の内側の空間を移動する空中像#1の移動の確認が容易になる。もっとも、空中像#2は、空中像#1に対する指標として空気中に形成されるので、空中像#1が移動する範囲の外縁を規定する必要はない。すなわち、空中像#1は、空中像#2の内側から空中像#2の外側に出るように移動してもよく、反対に、空中像#2の外側から空中像#2の内側に入るように移動してもよい。空中像#2は、他の像の一例である。
図1の場合、空中像#1及び#2の両方が空気中に形成されているが、空中像#1が形成されるのは通信が検知された場合に限られる。このため、通信が検知されていない場合には、空中像#2だけが空気中に形成されてもよい。
なお、空中像#2も、空中像#1と同じく、通信が検知された場合に限定して空気中に形成してもよい。空中像#1及び#2の形成は、制御装置20により制御される。
例えば空中像#1及び#2の形成にハーフミラーを用いる方法、ビームスプリッタを用いる方法、微小なミラーアレイを用いる方法、微笑なレンズアレイを用いる方法、プラズマ発光を用いる方法等がある。これらの方式によって生成される空中像#1及び#2は、通り抜けることが可能である。
なお、通り抜けができない空中像#1及び#2を形成する空中像形成装置10には、現実の空間に存在するスクリーンに像を投影するプロジェクタがある。この他、空中像形成装置10には、発光素子のアレイを実空間で高速に移動させ、残像現象を用いて空中像#1及び#2を視認させる装置もある。
プロセッサ21は、例えばCPUで構成される。記憶装置22は、例えばBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)と、ワークエリアとして用いられるRAM(=Random Access Memory)と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
もっとも、ROMやRAMがプロセッサ21の一部に含まれることを妨げない。プロセッサ21と記憶装置22は、コンピュータを構成する。
カメラ30で撮像された画像は、画像データとして制御装置20に出力される。本実施の形態の場合、プロセッサ21は、画像データの解析により、空中像#1及び#2が形成される空間と周囲に位置する人の位置に関する関係を特定する。なお、画像データに人の顔が含まれる場合、プロセッサ21は、画像データに含まれる顔を解析し、空中像#1及び#2の周囲に位置する人を特定する。
なお、空中像#1及び#2の周辺に位置する人の特定は、画像データを用いる場合に限らない。例えば制御装置20が、個人が使用するコンピュータ、スマートフォン等の情報端末の場合、ログインされているアカウントの情報から個人を特定することも可能である。また、不図示の登録画面を通じ、空中像#1及び#2が形成される空間の周囲に位置する人の情報と、空中像#2に対する位置関係を登録してもよい。
図2は、メッセージ等の送受信を表す空中像#1の移動を実現する機能を説明するフローチャートである。図2に示す処理は、プロセッサ21(図1参照)によるプログラムの実行により実現される。
まず、プロセッサ21は、空中像#2が形成される空間の周囲にいる人と位置を特定する(ステップ1)。空間内における位置の特定には、例えばカメラ30について定義されている座標系が使用される。本実施の形態の場合、空中像#2が形成される空間内の位置は、カメラ30の座標系に関連付けられている。座標系は、プロセッサ21で管理されている。本実施の形態の場合、プロセッサ21は、空中像#2が形成されている空間を撮像した画像内から人の存在を抽出する。また、プロセッサ21は、可能である場合、顔認証を実行し、抽出された人を特定する。
ステップ2で肯定結果が得られた場合、プロセッサ21は、該当するメールの送信元の位置を特定する(ステップ3)。プロセッサ21は、該当するメールが通過したルータ等のIP(=Internet Protocol)アドレスを使用し、メールの送信元である端末が存在する実空間内の地域や住所地を特定する。
送信元と受信先との位置の関係が特定されると、プロセッサ21は、メッセージ等の受信を、メッセージ等を表す空中像#1の移動とサイズの変化により提示する(ステップ5)。ここでの移動は、送信元と受信先の位置の関係を表現する。
例えば受信先の人が空中像#2の手前側、送信元の人が空中像#2の奥側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の奥側から手前側に直線的に移動する。
例えば受信先の人が空中像#2の手前側、送信元の人が受信先の人の右手側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の右手側の面から手前側に曲線を描きながら移動する。なお、移動の軌跡は、曲線に限らず直線でもよい。
例えば受信先の人が空中像#2の手前側、送信元の人が受信先の人の背面側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側から奥側に進み、Uターンして手前側に移動する。
遠近の表現は、空中像#1が空気中に形成される位置と受信先である人との物理的な距離を基準としてもよく、空中像#1の形成が開始される位置から受信先である人の近傍に至るまでの経路上の距離を基準としてもよい。本実施の形態の場合、この距離上の位置に応じ、空中像#1のサイズが変化する。このため、空中像#1の形成が開始される位置のサイズが最も小さく、受信先である人に近づくほど空中像#1は大きく表現される。
従って、メールの送信元の人が受信先である人の背後に位置し、空中像#1の移動の軌跡がU字を描く場合、空中像#1の形成が開始される位置の空中像#1のサイズが最も小さくなる。
なお、遠近法で表現される空中像の対象は、空中像で表現されている画像全体ではなく一部の部分に対して適用するようにしてよい。また、遠近法から通常の表示方法の切り替えは、ユーザの指示によって変えられる。通常の表示方法とは、非遠近法により表現される空中像が空中内をそのまま移動する方法をいう。表示の変更を受け付けた場合、遠近法又は通常の表示による空中像の移動が途中まで進んでいたとしても、ユーザが変更を指示した時点から、変更後の表示方法による空中像が進捗に応じた態様で空中に形成される。
また、各時点に対応する位置とサイズの空中像#1を空気中に残すことで、空中像#1の移動を表現してもよい。この場合、サイズが異なる複数の空中像#1が空気中に確認され、空中像#1が近づいてくる様子の確認が容易になる。
ステップ6で否定結果が得られた場合、プロセッサ21は、ステップ1に戻る。メール等の受信の場合と同様、メールサーバとの連携が許可されていない人については、ステップ6で否定結果を得てステップ1に戻る。
一方、ステップ6で肯定結果が得られた場合、プロセッサ21は、該当するメールの送信先の位置を特定する(ステップ7)。プロセッサ21は、メールアドレスが通過したルータ等のIP(=Internet Protocol)アドレスの情報をネットワーク上から取得し、メールの送信先である端末が存在する実空間内の地域や住所地を特定する。
送信元と受信先との位置の関係が特定されると、プロセッサ21は、メッセージ等の送信を、メッセージ等を表す空中像#1の移動とサイズの変化により提示する(ステップ9)。ここでの移動は、送信元と送信先の位置の関係を表現する。
例えば送信元の人が空中像#2の手前側、送信先の人が空中像#2の奥側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側から奥側に直線的に移動する。
例えば送信元の人が空中像#2の手前側、送信先の人が送信元の人の右手側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側の面から右手側に曲線を描きながら移動する。なお、移動の軌跡は、曲線に限らず直線でもよい。
例えば送信元の人が空中像#2の手前側、送信先の人が送信元の人の背面側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側から奥側に進み、Uターンして手前側に移動する。
また、遠近の表現も、空中像#1が空気中に形成される位置と受信先である人との物理的な距離を基準としてもよく、空中像#1の形成が開始される位置から受信先である人の近傍に至るまでの経路上の距離を基準としてもよい。本実施の形態の場合、この距離上の位置に応じ、空中像#1のサイズが変化する。このため、空中像#1の形成が開始される位置のサイズが最も大きく、送信先である人に近づくほど空中像#1は小さく表現される。
従って、メールの送信先の人が送信元である人の背後に位置し、空中像#1の移動の軌跡がU字を描く場合、空中像#1の形成が開始される時点における空中像#1のサイズが最も大きくなる。
また、各時点に対応する位置とサイズの空中像#1を空気中に残すことで、空中像#1の移動を表現してもよい。この場合、サイズが異なる複数の空中像#1が空気中に確認され、空中像#1が遠ざかっていく様子の確認が容易になる。
図3は、移動中の空中像#1に対する操作によりメッセージの送受信の中止を実現する機能を説明するフローチャートである。図3に示す処理も、プロセッサ21(図1参照)によるプログラムの実行により実現される。図3に示す処理は、図2に示す処理とは独立に実行される。このため、プロセッサ21は、空中像#1の位置とサイズを制御中もカメラ30で撮像される画像の解析を継続する。
反対に、受信については移動を妨げる動きの検出を有効とし、送信については移動を妨げる動きの検出を無効としてもよい。この設定も、インターフェース画面を通じて設定する。
また、本実施の形態では、空中像#1の移動を妨げる物体の動きの実行者を問わないが、空中像#1の移動を妨げる物体の動きの実行者を、メッセージ等の受信先である人、又は、送信元である人に限定してもよい。この場合、対象者以外の人による空中像#1の移動を妨げる動きは無視される。
また、同一人に対する複数の空中像#1のうちのいずれか1つに対して空中像#1の移動を妨げる物体の動きが検出されると、同一人に対応する全てのイベントの中止を可能にしてもよい。メッセージ等に対応する空中像#1の移動は短時間で行われるため、それらの全てを妨げることは困難の場合がある。しかし、前述した機能を採用すれば、余裕を持ってイベントの中止を指示することが可能になる。
一方、ステップ11で肯定結果が得られると、プロセッサ21は、空中像#1に対応するメッセージ等に関するイベントを中止する(ステップ12)。ここでのイベントは、メッセージ等の受信に伴う空中像#1の空中内での移動を実現する処理と、メッセージ等の送信に伴う空中像#1の空中内での移動を実現する処理の両方を含む。すなわち、プロセッサ21は、ステップ2~5又はステップ6~9の処理を中止する。これらの処理の中止により、空中像#2の内側における空中像#1の移動だけでなく、空中像#1の形成そのものも中止される。本実施の形態では、メッセージ等に対応する空中像#1が、空中像#2の中から消去される。
以下では、前述した機能を使用した空中像#1及び#2の形成例を説明する。
<例1>
図4は、空中像#2の周囲に位置するAさん宛のメッセージ等が届いた場合における空中像#1の移動を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。
図4に示す空中像#1の移動は、送信元がAさんから見て空中像#2の奥側にいる場合の他、送信元の位置とは無関係にメッセージ等の受信を提示する場合に用いられる。
図4の場合、時点T1では小さいサイズの空中像#1が空中像#2の奥側に形成され、時点T2ではサイズが拡大された空中像#1が空中像#2の中央付近に形成され、時点T3ではサイズが更に拡大された空中像#1が空中像#2のAさんの目の前に形成される。このため、Aさんによる自身宛のメッセージ等が受信される様子の確認が容易になる。
図5の場合、各時点で、過去の各時点の位置と移動の方向を示す矢印も空中像#1として空気中に形成される。このため、Aさんによる空中像#1の移動の方向の確認が容易になる。なお、空気中に形成される空中像#1の個数が増えすぎると確認が難しくなる。このため、図5に示す例では、空気中に形成する空中像#1の数を3個に限定している。すなわち、空中像#1の形成に用いる時点を3つに限定している。3つの時点は等間隔に定めてもよいが、空中での移動の見やすさを考慮して選択することが望ましい。
なお、移動の方向を示す矢印は空中に形成しないことも可能である。
図6は、実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる例を説明する図である。
図6の場合、受信先はAさんであり、送信元はBさんである。Bさんは、Aさんから見て右側の方向に位置している。なお、BさんはAさんと同じ部屋にいることを要しない。
図6の場合、メッセージ等を表す空中像#1は、Aさんから見て空中像#2の右奥付近から曲線を描きながらAさんに近づくように移動されている。図6における空中像#1の移動は、図4で説明したように、各時点に1つの空中像#1が、サイズを拡大しながらの移動である。
この空中像#1の移動を確認したAさんは、自身宛のメッセージ等の受信があること、送信元は自身に対して右側の方向に位置していることを理解する。
なお、時点T3における空中像#2の奥行方向の位置は、Aさんから見たBさんの距離を反映してもよい。例えばBさんがAさんと同じ部屋にいる場合には、空中像#1はX軸方向に移動してもよい。
図7は、実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図7の場合も、受信先はAさんであり、送信元はBさんである。ただし、図7の場合、Bさんは、Aさんの背後側に位置している。
このため、図7に示す例の場合、メッセージ等を表す空中像#1は、Aさんから見て空中像#2の手前側に出現し、その後、サイズを拡大させながら空中像#2の奥に進み、更に、UターンしてAさんに近づくように移動されている。
この空中像#1の移動を確認したAさんは、自身宛のメッセージ等の受信が実行されること、送信元は自身の背後側に位置していることを理解する。
なお、BさんがAさんの背後側にいる場合にも、時点T1における空中像#1のサイズは、時点T3における空中像#1のサイズと同じでもよい。この場合、空中像#1は空中像#2の奥側に進むにつれて小さくなり、Uターンして手前側に進むにつれて再び大きくなる。
図8は、実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図8の場合も、受信先はAさんであり、送信元はBさんである。図8の場合も、Bさんは、Aさんの背後側に位置している。この位置の関係は、例3と同じである。
ただし、図8における空中像#1は、空中像#2の奥側からAさんに直線的に近づいている。空中像#1のサイズもAさんに近づくほど拡大している。
違いは、空中像#1の色調である。Aさんの背後に送信元のBさんが位置することを示すため、図8では、他の例とは異なる色調で空中像#1を表現している。なお、色調に限らず、空中像#1の模様や図案を変更することも可能である。いずれにしても、色調の違いに気づいたAさんは、目の前に形成され移動している空中像#1の送信元が自身の背後側であることを理解する。
図9は、空中像#1の移動を妨げる動きが検出される場合を説明する図である。(A)は空中像#1の移動を妨げる手の動きを示し、(B)は空中像#1の移動を妨げる手の動きを検出した後を示す。
(A)は、図4の時点T2に対応する。このため、空中像#1は、空中像#2の奥側から中央付近まで移動している。この時点において、Aさんの手が移動中の空中像#1を叩き落とすような動きを示している。勿論、空中像#1は空気中に形成されているので、Aさんの手は空中像#1を通り抜ける。
しかし、受信先であるAさんによる空中像#1の移動を妨げる動きを検出したプロセッサ21(図1参照)は、空中像#1に対応するメッセージ等を受信するイベントの中止を指示する。この結果、時点T3では、空中像#1は空中から消えている。空中像#1が空中から消えることで、Aさんは自身の動作の受付を確認する。
図10は、受信先が異なる2つの空中像#1A及び1Bが形成される例を説明する図である。
図10の場合、受信先はAさんとBさんの2人である。AさんとBさんは、空中像#2の異なる面に位置している。図10の場合、AさんはX軸とZ軸で規定される面と対面し、BさんはY軸とZ軸で規定される面と対面している。
図10の場合、空中像#1AはAさんへのメッセージ等の受信を表現し、空中像#1BはBさんへのメッセージ等の受信を表現している。
なお、図10における空中像#1A及び1Bの移動は、例1で説明したように、送信元の位置は無関係である。このため、空中像#1Aと空中像#1Bは、いずれも直線的にサイズを拡大しながらAさんとBさんに近づいている。
図11は、空中像#2の周囲に位置するAさんからメッセージ等が送信される場合における空中像#1の移動を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。
図11に示す空中像#1の移動は、送信元であるAさんから見て送信先が空中像#2の奥側にいる場合の他、送信先の位置とは無関係にメッセージ等の送信を提示する場合に用いられる。
図11の場合、時点T1では大きいサイズの空中像#1がAさんの目の前に形成され、時点T2ではサイズが縮小された空中像#1が空中像#2の中央付近に形成され、時点T3ではサイズが更に縮小された空中像#1が空中像#2の一番奥の位置に形成される。このため、Aさんが送信元であるメッセージ等が送信されていく様子の確認が容易になる。
図12の場合、各時点で、過去の各時点の位置と移動の方向を示す矢印も空中像#1として空気中に形成される。このため、Aさんによる空中像#1の移動の方向の確認が容易になる。なお、空気中に形成される空中像#1の個数が増えすぎると確認が難しくなる。このため、図12に示す例では、空気中に形成する空中像#1の数を3個に限定している。すなわち、空中像#1の形成に用いる時点を3つに限定している。3つの時点は等間隔に定めてもよいが、空中での移動の見やすさを考慮して選択することが望ましい。
なお、移動の方向を示す矢印は空中に形成しないことも可能である。
図13は、実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる例を説明する図である。
図13の場合、送信元はAさんであり、送信先はBさんである。Bさんは、Aさんから見て右側の方向に位置している。なお、BさんはAさんと同じ部屋にいることを要しない。
図13の場合、メッセージ等を表す空中像#1は、Aさんの目の前の位置から空中像#2の右奥付近に曲線を描きながらBさんに近づくように移動されている。図13における空中像#1の移動は、図11で説明したように、1つの空中像#1がサイズを縮小しながらの移動である。
この空中像#1の移動を確認したAさんは、自身が送信元であるメッセージ等の送信が実行されること、送信先は自身に対して右側の方向に位置していることを理解する。
なお、時点T3における空中像#2の奥行方向の位置は、Aさんから見たBさんの距離を反映してもよい。例えばBさんがAさんと同じ部屋にいる場合には、空中像#1はX軸方向に移動してもよい。
図14は、実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図14の場合も、送信元はAさんであり、送信先はBさんである。ただし、図14の場合、Bさんは、Aさんの背後側に位置している。
このため、図14に示す例の場合、メッセージ等を表す空中像#1は、Aさんの目の前に出現し、その後、サイズを縮小させながら空中像#2の奥に進み、更に、UターンしてAさんに近づくように移動されている。
この空中像#1の移動を確認したAさんは、自身が送信元であるメッセージ等の送信が実行されること、送信先は自身の背後側に位置していることを理解する。
なお、BさんがAさんの背後側にいる場合にも、時点T3における空中像#1のサイズは、時点T1における空中像#1のサイズと同じでもよい。この場合、空中像#1は空中像#2の奥側に進むにつれて小さくなり、Uターンして手前側に進むにつれて再び大きくなる。
図15は、実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図15の場合も、送信元はAさんであり、送信先はBさんである。図15の場合も、Bさんは、Aさんの背後側に位置している。この位置の関係は、例9と同じである。
ただし、図15における空中像#1は、Aさんの目の前から空中像#2の奥側に直線的に遠ざかっている。空中像#1のサイズもAさんから遠ざかるほど縮小している。
違いは、空中像#1の色調である。Aさんの背後に送信元のBさんが位置することを示すため、図15では、他の例とは異なる色調で空中像#1を表現している。なお、色調に限らず、空中像#1の模様や図案を変更することも可能である。いずれにしても、色調の違いに気づいたAさんは、目の前に形成され移動している空中像#1の送信先が自身の背後側であることを理解する。
図16は、空中像#1の移動を妨げる動きが検出される場合を説明する図である。(A)は空中像#1の移動を妨げる手の動きを示し、(B)は空中像#1の移動を妨げる手の動きを検出した後を示している。
(A)は、図11の時点T2に対応する。このため、空中像#1は、空中像#2の手前側から中央付近まで移動している。この時点において、Aさんの手が移動中の空中像#1を叩き落とすような動きを示している。勿論、空中像#1は空気中に形成されているので、Aさんの手は空中像#1を通り抜ける。
しかし、送信元であるAさんによる空中像#1の移動を妨げる動きを検出したプロセッサ21(図1参照)は、空中像#1に対応するメッセージ等を送信するイベントの中止を指示する。この結果、時点T3では、空中像#1は空中から消えている。空中像#1が空中から消えることで、Aさんは自身の動作の受付を確認する。
図17は、送信元が異なる2つの空中像#1C及び1Dが形成される例を説明する図である。
図17の場合、送信元はAさんとBさんの2人である。AさんとBさんは、空中像#2の異なる面に位置している。図17の場合、AさんはX軸とZ軸で規定される面と対面し、BさんはY軸とZ軸で規定される面と対面している。
図17の場合、空中像#1CはAさんからのメッセージ等の送信を表現し、空中像#1DはBさんからのメッセージ等の送信を表現している。
なお、図17における空中像#1C及び1Dの移動は、例7で説明したように、送信先の位置は無関係である。このため、空中像#1Cと空中像#1Dは、いずれも直線的にサイズを縮小させながらAさんとBさんから遠ざかっている。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
図18は、空中像#1に対する指標としての空中像#2を形成しない例を説明する図である。(A)はメッセージ等の受信を表現する空中像#1の移動を示し、(B)はメッセージ等の送信を表現する空中像#1の移動を示す。
(A)に示す空中像#1の移動は、図4における空中像#1の移動に対応し、(B)に示す空中像#1の移動は、図11における空中像#1の移動に対応している。
図19は、空中像#1の形状がメッセージ等のデータ量の大きさを表す例を説明する図である。(A)はデータ量が小さい場合の形状を示し、(B)はデータ量が大きい場合の形状を示す。
もっとも、空中像#1の厚みは、データ量の大きさと予め定めた閾値との比較により分類してもよい。なお、閾値の数は1つに限らず複数でもよい。
また、閾値の大きさは、送信の対象の種類に応じて定めても良い。例えばメッセージの閾値よりも、データファイル、コンテンツデータ、プログラムデータの閾値を大きくしてもよい。
この他、空中像#1の厚みではなく、空中像#1のサイズを変更してもよいし、色調を変更してもよい。
また、前述の実施の形態における制御装置20は、いわゆるコンピュータでもよいし、スマートフォンその他の情報端末でもよいし、インターネット上に設置されるサーバでもよい。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
Claims (6)
- プロセッサを有し、
前記プロセッサは、
空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、
前記像の移動が受信を表す場合、前記プロセッサは、当該像のサイズを拡大させながら、当該像を人の方向に移動させ、
前記プロセッサは、前記像を観察する人が実在する位置と、当該像に対応する送信元が実在する位置との関係を、当該像の移動の経路で表現し、
前記プロセッサは、前記像に対応する送信元が当該像を観察する人の背後側に位置する場合、前方から受信されるときとは異なる色調で当該像を表現する、情報処理装置。 - プロセッサを有し、
前記プロセッサは、
空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、
前記像の移動が送信を表す場合、前記プロセッサは、当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させ、
前記プロセッサは、前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現し、
前記プロセッサは、前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する、情報処理装置。 - プロセッサを有し、
前記プロセッサは、
空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、
前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する、情報処理装置。 - コンピュータに、
空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、
前記像の移動が受信を表す場合、当該像のサイズを拡大させながら、当該像を人の方向に移動させる機能と、
前記像を観察する人が実在する位置と、当該像に対応する送信元が実在する位置との関係を、当該像の移動の経路で表現する機能と、
前記像に対応する送信元が当該像を観察する人の背後側に位置する場合、前方から受信されるときとは異なる色調で当該像を表現する機能と、
を実現させるためのプログラム。 - コンピュータに、
空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、
前記像の移動が送信を表す場合、当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させる機能と、
前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現する機能と、
前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する機能と、
を実現させるためのプログラム。 - コンピュータに、
空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、
前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229723A JP7447474B2 (ja) | 2019-12-19 | 2019-12-19 | 情報処理装置及びプログラム |
US16/890,617 US20210191577A1 (en) | 2019-12-19 | 2020-06-02 | Information processing apparatus and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229723A JP7447474B2 (ja) | 2019-12-19 | 2019-12-19 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099544A JP2021099544A (ja) | 2021-07-01 |
JP7447474B2 true JP7447474B2 (ja) | 2024-03-12 |
Family
ID=76438074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229723A Active JP7447474B2 (ja) | 2019-12-19 | 2019-12-19 | 情報処理装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210191577A1 (ja) |
JP (1) | JP7447474B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023145892A1 (ja) * | 2022-01-31 | 2023-08-03 | 株式会社Nttドコモ | 表示制御装置及びサーバ |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002152447A (ja) | 2000-08-31 | 2002-05-24 | Canon Inc | データ通信装置、データ処理方法および記憶媒体 |
JP2003281864A (ja) | 2002-03-25 | 2003-10-03 | Sanyo Electric Co Ltd | 記録媒体管理装置および記録装置 |
JP2009278456A (ja) | 2008-05-15 | 2009-11-26 | Hitachi Ltd | 映像表示装置 |
US20110161856A1 (en) | 2009-12-28 | 2011-06-30 | Nokia Corporation | Directional animation for communications |
JP2011159163A (ja) | 2010-02-02 | 2011-08-18 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US20140015858A1 (en) | 2012-07-13 | 2014-01-16 | ClearWorld Media | Augmented reality system |
US20190228588A1 (en) | 2018-01-24 | 2019-07-25 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6784901B1 (en) * | 2000-05-09 | 2004-08-31 | There | Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment |
WO2007121557A1 (en) * | 2006-04-21 | 2007-11-01 | Anand Agarawala | System for organizing and visualizing display objects |
CN103529554B (zh) * | 2008-07-10 | 2018-07-31 | 实景成像有限公司 | 宽视角显示和用户接口 |
US20100214243A1 (en) * | 2008-07-15 | 2010-08-26 | Immersion Corporation | Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface |
US9414041B2 (en) * | 2009-11-23 | 2016-08-09 | Samsung Electronics Co., Ltd. | Method for changing play mode, method for changing display mode, and display apparatus and 3D image providing system using the same |
EP2548179A4 (en) * | 2010-03-17 | 2013-10-16 | Sony Corp | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
KR101407670B1 (ko) * | 2011-09-15 | 2014-06-16 | 주식회사 팬택 | 증강현실 기반 모바일 단말과 서버 및 그 통신방법 |
US9990770B2 (en) * | 2011-12-20 | 2018-06-05 | Intel Corporation | User-to-user communication enhancement with augmented reality |
US20180365270A1 (en) * | 2017-06-19 | 2018-12-20 | Get Attached, Inc. | Context aware digital media browsing |
-
2019
- 2019-12-19 JP JP2019229723A patent/JP7447474B2/ja active Active
-
2020
- 2020-06-02 US US16/890,617 patent/US20210191577A1/en not_active Abandoned
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002152447A (ja) | 2000-08-31 | 2002-05-24 | Canon Inc | データ通信装置、データ処理方法および記憶媒体 |
JP2003281864A (ja) | 2002-03-25 | 2003-10-03 | Sanyo Electric Co Ltd | 記録媒体管理装置および記録装置 |
JP2009278456A (ja) | 2008-05-15 | 2009-11-26 | Hitachi Ltd | 映像表示装置 |
US20110161856A1 (en) | 2009-12-28 | 2011-06-30 | Nokia Corporation | Directional animation for communications |
JP2011159163A (ja) | 2010-02-02 | 2011-08-18 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US20140015858A1 (en) | 2012-07-13 | 2014-01-16 | ClearWorld Media | Augmented reality system |
US20190228588A1 (en) | 2018-01-24 | 2019-07-25 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
Also Published As
Publication number | Publication date |
---|---|
JP2021099544A (ja) | 2021-07-01 |
US20210191577A1 (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11386626B2 (en) | Information processing apparatus, information processing method, and program | |
US11089266B2 (en) | Communication processing method, terminal, and storage medium | |
US20170068508A1 (en) | Method and system for communicating with a user immersed in a virtual reality environment | |
JP7005753B2 (ja) | プライバシースクリーン | |
JP2019083402A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
TWI752473B (zh) | 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體 | |
US20210110596A1 (en) | Information processing device, information processing method, and program | |
JP7447474B2 (ja) | 情報処理装置及びプログラム | |
US9848168B2 (en) | Method, synthesizing device, and system for implementing video conference | |
US11030979B2 (en) | Information processing apparatus and information processing method | |
US11330251B2 (en) | Defining a holographic object allowance area and movement path | |
WO2018042074A1 (en) | A method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene | |
US20190130631A1 (en) | Systems and methods for determining how to render a virtual object based on one or more conditions | |
CN112837372A (zh) | 数据生成方法及装置、电子设备和存储介质 | |
US11263456B2 (en) | Virtual object repositioning versus motion of user and perceived or expected delay | |
US9448622B2 (en) | Information processing apparatus, information processing method, and program for generating feedback to an operator regarding positional relationship of other users near a display | |
CN109727315B (zh) | 一对多集群渲染方法、装置、设备及存储介质 | |
CN114430406A (zh) | 基于位置的头像通讯服务提供方法以及装置 | |
CN114402364A (zh) | 使用随机森林的3d对象检测 | |
WO2021085320A1 (ja) | 情報処理装置および方法 | |
EP3337165A1 (en) | Video communication method and system | |
CN116703952B (zh) | 过滤遮挡点云的方法、装置、计算机设备及存储介质 | |
WO2024105870A1 (ja) | 制御システム、制御方法、および記録媒体 | |
US20240179400A1 (en) | Modification of captured images | |
EP4344196A1 (en) | Visual techniques for 3d content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |