JP2020102845A - 超広角360度カメラの注視及び気付きを行なうシステム、方法、装置、及びプログラム - Google Patents

超広角360度カメラの注視及び気付きを行なうシステム、方法、装置、及びプログラム Download PDF

Info

Publication number
JP2020102845A
JP2020102845A JP2019224510A JP2019224510A JP2020102845A JP 2020102845 A JP2020102845 A JP 2020102845A JP 2019224510 A JP2019224510 A JP 2019224510A JP 2019224510 A JP2019224510 A JP 2019224510A JP 2020102845 A JP2020102845 A JP 2020102845A
Authority
JP
Japan
Prior art keywords
remote
remote user
degree camera
users
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019224510A
Other languages
English (en)
Other versions
JP7472483B2 (ja
Inventor
デービッド アイマン シャンマ
Ayman Shamma David
デービッド アイマン シャンマ
ローラン ドゥヌ
Laurent Denoue
ドゥヌ ローラン
ユリアス チアヒヤデ
Tjahjadi Yulius
ユリアス チアヒヤデ
ダニガン アンソニー
Anthony Dunnigan
ダニガン アンソニー
ジェイ.ドゥハーティ ジョン
J Doherty John
ジェイ.ドゥハーティ ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2020102845A publication Critical patent/JP2020102845A/ja
Application granted granted Critical
Publication of JP7472483B2 publication Critical patent/JP7472483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】360度カメラを有する部屋の感知されるユーザがプライバシーを維持する。【解決手段】装置は、1つ以上のローカルユーザを含むボリュームを撮像してリモートユーザ用の出力を生成するように構成される360度カメラと、リモートユーザのビューイング方向又は数を表わす、1つ以上のローカルユーザ用のビジュアル出力を、リモートビューアの関心領域のマッピングに基づいて生成するように構成される照明デバイスと、を含む。照明デバイスは、360度カメラに関連付けられる。【選択図】図1(a)

Description

例示的な実施形態の態様は、超広角360度カメラの注視及び気付きを行なう方法、システム、インターフェースに関するものであり、特に注視及び気付きを超軽量360度カメラに、光源の使用により付与する装置、方法、及びプログラムに関するものである。
従来技術では、カメラは部屋で使用することができる。より具体的には、カメラ(例えば、ビデオカメラ)を部屋に設けて、セキュリティ、監視、遠く離れた場所を跨るインタラクティブ(双方向性)通信などのような1つ以上の機能を行なうことができる。会議室、オフィスルーム、自宅、又は他の会場スペースのような部屋の全体を撮像するために使用することができる従来技術による360°カメラが存在する。従来技術による「パンチルトズーム」カメラとは異なり、従来技術による360°カメラは、操作対象のサーボ又は関連モータのような機械的移動構造を必要とせず、いかなる場所にも簡単に配置して可視性を全方向に常時実現することができる。
従来技術による接続機能に従って、従来技術による360°カメラは、同じ部屋に居ないユーザの間の遠隔会議機構、又は家屋内のような特定の環境における自動ビジュアルアシスタンス機構を提供することができる。
しかしながら、従来技術による360°カメラは、様々な問題及び不具合を有している。例えば、これに限定されないが、関連する360°カメラは、部屋に居るユーザを遠く離れた場所で観察する遠く離れた場所に居るリモートビューア又はAIエージェントに関して部屋の完全な注視/気付きを行なうが、部屋のその場に居るローカルユーザは、ユーザ自身で、遠く離れた場所に居てビュー(観察)しているビューアの方向及び数に気付かない。
SHAMMA,D.A.,et al..Interacting with Smart Consumer Cameras:Exploring Gesture,Voice,and Al Control of VideoStreaming, FXPAL Technical Report,FXPAL−TR−18−001,April 1, 2018,13 pgs. CUTLER,R.,et al..Distributed Meetings:A Meeting Capture and Broadcasting System,Multimedia’02,December1−6,2002,Juan−les−Pins,France,pp.503−512. Amazon.com,Amazon Cioud Cam Security Camera,9 pgs,[onlinelURL:https://vww.amazon.com/lntroducing−Amazon−Cloud−Cam/dp/BOI C4UY0JK Lighthouse Al,Inc.,Al,2018,3pgs,[online]URL:https://www.light.house/ Jibo.com,Meet Jibo,2018,11 pgs.[online]URL:https://www.jibo.com/ CHAMBEL,T.,et al..Towards Immersive Interactive Video Through 360 Hypervideo,ACE’2O11,Libon,Portugal,2pgs. MOK,T.,et al..Critiquing Physical Prototypes for a Remote Audience,DIS 2017,June 10−14,2017,Edinburgh,UK,13
従来技術による例では、1つ以上のリモートピア(remote peer)は、遠く離れた場所で360度カメラを介して、部屋に居る1つ以上のローカルユーザをビューすることができる。しかしながら、1人以上のローカルユーザは、360度カメラを見ることにより、リモートピア群のいずれのリモートピアがこれらの特定のユーザをビューしているかどうかを認識する機構、又はリモートピアが360度カメラで焦点を合わせる、いずれの概略方向、角度、視野なども認識する機構を全く持たない。
さらに、AIエージェント又は他のビジュアルアシスタンスのような自動撮影ツールは、部屋に居る1つ以上のユーザを360度カメラでビューすることができる。しかしながら、1つ以上のユーザは、これらのユーザがビューしているかどうかを、及びどのくらい多くの自動撮影ツールが、これらのユーザを観察しているかを判断する機構を全く持たない。この従来技術の問題は、従来技術による360度カメラが、ローカルユーザがリモートビューアの方向、アイデンティティ、又は数を判断するビジュアルインジケータを全く含まないという事実に起因している。
したがって、従来技術では、360度カメラを有する部屋に居るユーザに許可して、リモートビューア又はビューア群に関する情報を、連携を殆ど妨げることなく確認させることができることにより、360度カメラを有する部屋のユーザがプライバシーを、連携を妨げることなく維持することができるシステム及び方法を提供するという満たされない要求がある。
本開示の技術は、360度カメラを有する部屋の感知されるユーザがプライバシーを維持することができる装置、方法、及びプログラムを提供することを目的とする。
例示的な実施形態の態様によれば、装置は、1つ以上のローカルユーザを含むボリューム(空間)を撮像してリモートユーザのための出力を生成するように構成される360度カメラと、リモートユーザのビューイング方向又は数を表わす、1つ以上のローカルユーザのためのビジュアル出力を、リモートビューアの関心領域のマッピングに基づいて生成するように構成される照明デバイスと、を含み、照明デバイスは、360度カメラに関連付けられる。
別の態様によれば、リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む。
更に別の態様によれば、リモートビューアの関心領域のマッピングは、リモートユーザ群の各リモートユーザのために、照明デバイスにマッピングされるヨー値、ピッチ値、及び視野値を含む。
更に別の態様によれば、照明デバイスは積層型ビジュアルインジケータライトを含む。さらには、積層型ビジュアルインジケータライトは、360度カメラを受け入れるように構成されるクラウンに埋め込まれる。
別の態様によれば、ビジュアル出力は、リモートユーザのビューイング方向又は数、若しくは1つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期するリモートユーザ群のうち1つ以上のリモートユーザのビューイング方向又は数を表わす、照明デバイスのサイズ、色、及び光強度のうち少なくとも1つを含む。
更に別の態様によれば、リモートユーザのモーションは、モーションに対応する、360度カメラの周りの照明デバイスのモーション及び輝度により表わされる。また、リモートユーザのモーションは、パン、チルト、及びズームのうち1つ以上を含む。
方法は、入力を360度カメラから受信し、入力がローカル環境の360度カメラを介して受信される情報に関連付けられることと、複数のリモートユーザの各リモートユーザのためのストリームを生成して、各リモートユーザが360度カメラとのインタラクションを、デバイスを介して行なうことと、リモートユーザ群の各リモートユーザのためのリモートユーザのデバイスからのストリーム及び情報に基づいて、関心領域情報を決定することと、決定した関心領域情報を360度カメラに関連する特定の照明構成の特定のライト構造にマッピングすることと、コマンドを生成してコマンドを照明に供給することと、コマンドに基づいて、リモートユーザに関連する関心領域情報を表わすライト出力を生成して、360度カメラの位置に居る、又は360度カメラの近くに居るローカルユーザがライト出力をビューすることができるようにすることと、を含む。
別の態様によれば、リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む。
別の態様によれば、リモートユーザの関心領域情報のマッピングは、複数のリモートユーザの各リモートユーザのためにライト構造にマッピングされるヨー値、ピッチ値、及び視野値を含む。
別の態様によれば、照明構成は積層型ビジュアルインジケータライトを含み、積層型ビジュアルインジケータライトは、360度カメラを受け入れるように構成されるクラウン内に埋め込まれる。
別の態様によれば、ライト出力は、リモートユーザのビューイング方向又は数、若しくは1つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する複数のリモートユーザのうち1つ以上のリモートユーザのビューイング方向又は数を表わす、照明構成のサイズ、色、及び光強度のうち少なくとも1つを含む。
別の態様によれば、リモートユーザのモーションは、モーションに対応する、360度カメラの周りの照明構成のモーション及び輝度により表わされ、リモートユーザのモーションは、パン、チルト、及びズームのうち1つ以上を含む。
プログラムは、プロセッサに、複数のリモートユーザの各リモートユーザのために生成されるストリームを生成して、各リモートユーザがローカル環境に関連する情報を供給する360度カメラとのインタラクションを、デバイスを介して行なうことと、複数のリモートユーザの各リモートユーザのためのリモートユーザのデバイスからのストリーム及び情報に基づいて、関心領域情報を決定することと、決定した関心領域情報を360度カメラに関連する特定の照明構成の特定のライト構造にマッピングすることと、リモートユーザに関連する関心領域情報を表わすライト出力のコマンドを生成して、360度カメラの位置に居る、又は360度カメラの近くに居るローカルユーザがライト出力をビューすることができるようにすることと、を実行させる。
別の態様によれば、リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む。
別の態様によれば、リモートユーザの関心領域情報のマッピングは、照明構成にマッピングされるヨー値、ピッチ値、及び視野値を、複数のリモートユーザの各リモートユーザのために、含む。
別の態様によれば、照明構成は積層型ビジュアルインジケータライトを含み、積層型ビジュアルインジケータライトは、360度カメラを受け入れるように構成されるクラウン内に埋め込まれる。
別の態様によれば、ライト出力は、リモートユーザのビューイング方向又は数、若しくは1つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する複数のリモートユーザのうち1つ以上のリモートユーザのビューイング方向又は数を表わす、照明構成のサイズ、色、及び光強度のうち少なくとも1つを含む。
別の態様によれば、リモートユーザのモーションは、モーションに対応する、360度カメラの周りの照明構成のモーション及び輝度により表わされ、リモートユーザのモーションは、パン、チルト、及びズームのうち1つ以上を含む。
図1(a)は例示的な実施形態による360度カメラの例を示している。 図1(b)は例示的な実施形態による360度カメラの例を示している。 図1(c)は例示的な実施形態による360度カメラの例を示している。
図2は例示的な実施形態による360度カメラの周りの照明への関心領域のマッピングを表わすフローチャートを示している。
図3は例示的な実施形態による360度カメラ上の関心領域のモデル化を示している。
図4は例示的な実施形態による360度カメラ上の照明に関連する機構を示している。
図5は例示的な実施形態による方法を示している。
図6は幾つかの例示的な実施形態において使用されるために適する例示的なコンピュータデバイスを含む例示的なコンピューティング環境を示している。
図7は幾つかの例示的な実施形態に適する例示的な環境を示している。
以下の詳細な説明は、本出願の図及び例示的な実施形態の更なる詳細を提供する。これらの図の間の冗長な要素の参照番号及び説明は、明瞭性を期して省略されている。説明全体を通じて使用される用語は、例として提供されており、限定を意図したものではない。 例えば、これに限定されないが、本明細書において使用される「360 camera(360度カメラ)」という用語は、360°カメラ又は超広角カメラのようなカメラを指すことができ、このカメラは、機械的モータ又は他の移動構造を全く必要とせず、部屋内に配置して、多くの方向の挙動を検出することができる。
例えば、これに限定されないが、例示的な実施形態は、球体全体の視野を備えるカメラ、又は水平面内の360度の視野を撮影する機能を備えるカメラを含むことができる。さらに、「360 camera(360度カメラ)」という用語は、これに限定されないが、例えばフィルムまたはセンサの短辺よりも短い焦点距離を持つレンズを有する超広角カメラを含むことができる。しかしながら、「360 camera(360度カメラ)」は、パン/チルト/ズームカメラ(pan/tilt/zoom cameras)を含まない。
例示的な本実施形態では、カメラは、ビューイングデバイスを有する複数のリモートユーザの動画、静止画像、又は動画及び静止画像の両方を撮影することができ、ビューイングデバイスによりリモートユーザは、リモートユーザの関心領域を360度カメラ内に収まるように調整することができる。ビューイングデバイスは、関心領域に関連するパラメータ情報をプロセッサに供給し、このプロセッサが、マッピングをパラメータ情報と360度カメラに関連する照明方式との間で行なう。マッピングに基づいて、照明方式を制御してローカルユーザに、360度カメラの部屋での挙動の邪魔になることなく、リモートユーザの関心領域に関連する指標を与える。
例示的な実施形態の態様は、360度カメラの使用に関するものである。上に説明したように、360度カメラは、これらには限定されないが、テレビ会議、セキュリティ、監視、支援、又は当業者に理解される他のシナリオを含む様々なシナリオで使用することができる。これらのシナリオ及び他のシナリオでは、360度カメラが、部屋の容積全体のビューを提供することができ、パン、ズーム、又はチルトする必要があるカメラに通常関連する機械的モータに起因する移動又は追加雑音を生成しないので、360度カメラを使用することができる。360度カメラは、例えばミーティングルームの天井に配置することができ、360度カメラのビデオフィードをリモート参加者に供給することができる。
リモート参加者は、別のユーザとすることができる、又は例えば、ミーティングに関する、又は自宅、工場、又は他の会場のような場所に居るユーザが行なう挙動を検出することのような他の挙動に関する360度カメラの出力を感知、受信、及び格納することができる自動システムとすることができる。360度カメラは、より小さなミーティングスペースに取り入れることもでき、任意であるが、360度カメラは、部屋のミーティングテーブルに配置されるように移動可能であることにより、リモート参加者をミーティングに含めてもよい。
上に説明したように、従来技術による360度カメラは、プライバシーの問題及び/又は気付きの問題を、360度カメラにより感知されているユーザに生じさせる可能性があるが、その理由は、これらのユーザが、360度カメラに関するリモートユーザ焦点(リモートユーザのアイデンティティがずっと低い)を判断することができないからであり、360度カメラが、入力を部屋のあらゆる場所から常時受信することができ、入力をリモートユーザが所定の方向から受信している当該方向の指標を与えることがないからである。これに関連して、360度カメラに関連する注視及び気付きの欠如は、360度カメラのその場に居る参加者が、リモートユーザが何処を見ているのかを判断することができないので、連携に悪影響を及ぼす可能性がある。
例示的な実施形態の態様は、少なくとも前述の従来技術の問題に関するものである。より具体的には、例示的な実施形態は、ビジュアルインジケータを360度カメラの近くに設けて、又は360度カメラの上に設けて、360度カメラのローカルユーザに、リモートユーザが入力を感知している、または見ている方向の注視及び気付きの指標を与えるだけでなく、遠く離れた場所からローカルユーザを360度カメラで観察しているリモートユーザの数の指標を与えることができる。
すなわち、例示的な実施形態によれば、360度カメラは、リモートユーザの指標を与える1つ以上の照明光源を含むことができ、リモートユーザは、リモートビューイングデバイス又は自動システムを使用する実際の人物である。さらに、リモートユーザ群の各リモートユーザに対して、ビューポートを提供して、ユーザの実際のヨー値、ピッチ値、及び視野値を、360度カメラに関連するハードウェアで利用可能な光源にマッピングすることができるようにする。
光源は、例えばこれに限定されないが、基部の内部に任意に設けられるLEDリングを含む1つ以上のビジュアルインジケータライトからなる積層型ビジュアルインジケータライトとすることができ、これらのインジケータライトを設けて、ユーザのビジュアルに訴える出力を、360度カメラの邪魔にならないように生成することができる。さらに、光源の色及び光強度を使用して、リモートユーザの数及びタイプを示すことができる。
さらに、リモートエージェントのパン/チルト/ズームのようなモーションは、360度カメラに関連するライトのモーション及び輝度により表わして、パン操作、チルト操作、又はズーム操作のような対応する作用を示すことができる。また、ビジュアルインジケータ及び/又は音声インジケータを360度カメラのローカルユーザに供給して特定の人に指示を出して、例えば特定のビューポートに参加させる、ビューポートから退出させる、ビューポートに向かって発話させる、ビューポートに同期させることができる。
図1(a)は、例示的な実施形態による360度カメラを示している。例えば、これに限定されないが、この例示的な実施形態100は、360度カメラを取り付ける(例えば、ボルト締めする、又は固着させる)ことができる取り付け先のクラウン(crown(王冠(360度カメラが取り付けられる被取付部));例えば、基部を含む)の様子を示している。より具体的には、360度カメラには、発光ダイオード(LED)のようなビジュアルインジケータ(視覚可能な表示部)の1つ以上のリングを設けることができる。101では、ビジュアルインジケータの2つのリング、具体的には、上側部分105と下側部分109とが設けられ、上側部分に360度カメラを取り付けることができる。
さらに、ビジュアルインジケータライト(視覚可能な表示部の点灯部)の下側部分109は、色で発光し、この場合は青色で発光する。103では、ビジュアルインジケータライトの上側部分107の外側が別の色で発光し、この場合は緑色で発光する。さらに、下側部分111は、上側部分109と同時に発光を無くしても無くさなくてもよく、この場合は緑色であるが、任意に別の色でもよい。ビジュアルインジケータライトの様々なビジュアル属性を使用して、可視光出力を見分けることができることに留意されたい。
例えば、これに限定されないが、ビジュアルインジケータのうち点灯する部分の幅又は厚さは、リモートユーザのタイプ、リモートビューイングの持続時間、リモートユーザと部屋に居るユーザとの関係、人間又は自動機械のようなリモートユーザのタイプ、又は所定の方向を見ているリモートユーザの数を示すことができる。
可視光出力の他の属性は、前述の属性と置き換えて使用するか、又は前述の属性と組み合わせて使用することができ、これらには限定されないが、ビジュアルインジケータライト(例えば、これに限定されないが、LEDリング)の輝度、パルス持続時間、又は他の属性を含む。したがって、360度カメラを備える部屋に居るユーザは、リモートユーザの数を判断することができるだけでなく、これらのリモートユーザが360度カメラを含む部屋の何処を見ているかを判断することができる。
図1(b)は、例示的な実施形態に関連する例示的なクラウンのモデルを示している。例えば、121に示すように、クラウン123は、クラウン内に配置されるビジュアルインジケータライトの可視出力を送信するように構成される帯状体125、129を含む。中間層127は、上側ビジュアルインジケータライト(上側LEDリングのような)と下側ビジュアルインジケータライト(下側LEDリングのような)との間の分離部として設けられる。さらに、基部131がクラウン123の端部に設けられる。したがって、360度カメラが天井、テーブル、又は他の場所に配置されるかどうかに応じて、360度カメラは、基部131に配置するか、又は帯状体125の端部に配置することができる。
図1(c)は、ライトを備える集積360度カメラに関連する例示的な実施形態を示している。 例えば、141では、集積360度カメラ145、ユーザインターフェース147、状態インジケータ149、及び151に2列に並んだLEDライトを含むハウジング143が提供される。LEDライトの数、並びに列の数、及びLEDライトの色は、当業者が理解しているように、本開示の技術の範囲内で変更することができる。この例示的な実施形態は、より小さな部屋のような場所に使用することができる、又はテーブル天板の上で使用することができる、よりコンパクトな構造を提供することができる。
360度カメラをテーブル天板の上で使用することを含む例示的な実施形態によれば、上に説明され、図面に示されるように、カメラは、例示的なクラウンに取り付けることができる。さらに、例示的なクラウンのビジュアルインジケータライトの各集合体をプログラムで点灯させて、リモートユーザが焦点を探している方向に関連する指標を与えることができる。例えば、これに限定されないが、下部ビジュアルインジケータライトは、360度カメラに対して瓶詰めの前面側のオブジェクトが現在の焦点であることを示すことができる。これとは異なり、上側リングは、ユーザの顔又は部屋のホワイトボードのような反対方向のオブジェクトが現在の焦点であることを示すことができる。
ボードミーティングルームなどのような、より大きな現場を含む別の例示的な実施形態によれば、クラウンは天井に取り付けることができ、360度カメラは、クラウンの下方に取り付けて、下方向を向くようにすることができる。テーブル天板の例示的な実施形態に関連して上に説明したように、LED距離測定を同様に用いて、リモートユーザのビューイング方向、及び360度カメラの焦点にあるオブジェクトの相対位置を示すことができる。
本明細書において説明される例示的な実施形態は、360度カメラに関連するローカルユーザに、1つ以上のリモートユーザの例えば1つ以上の光源によるビジュアル指標、並びに1つ以上のリモートユーザの焦点方向を与える。ビジュアル指標は、360度カメラレンズに干渉するほど高い光強度を持たないLEDのような1つ以上のライトにより実現することができる。上の例示的な実施形態によれば、LEDは、基台と表記することもできるクラウンに閉じ込められて照明を管理又は制限することができ、光出力の所望のビジュアル外観をローカルユーザに提供することができる。その結果、ローカルユーザ及びリモートユーザは、ローカルユーザがリモートビューアの方向及び数に関連するプライバシー保護照明機能を持つことを可能にしながら、ローカルユーザ及びリモートユーザの連携を継続することができる。
前述の光源は、例示的な実施形態に関連して説明されているが、本発明のコンセプトは例示的な実施形態に限定されない。例えば、これに限定されないが、他のプログラム可能な光源をLEDの替わりに使用することができる。別の例示的な実施形態によれば、半非球面ライトのような配列ライトは、フレキシブルLCDディスプレイを基台の周りに巻き付けることができる、又は完全なフラットLCDディスプレイを使用することができる場合に設けることができる。したがって、例示的な本実施形態は、関心領域の精度、ビジュアルインジケータに関連する電力要件、及び製造、据え付け、保守などの複雑さを制御するように設計することができる。
例えば、しかし限定するわけではないが、ビジュアルインジケータは、出力スクリーン(例えば、光を1つの領域から生成して外部から投影するプロジェクタ、例えば底部から、プロジェクタの外部から見える半透明の錐体に至る光を生成するプロジェクタ)を含むことができるが、これに限定されない。あるいは、LCDスクリーンを実装するようにしてもよい(例えば、360度カメラの上方の天井に取り付けられる円形LCDは、例示的な実施形態によるライトを同様に示している)。その結果、各ユーザは、アクティブなビューポートをビューすることができる。
前述の例示的なビューは、ユーザ全体をズームする場合に、又はユーザに集光領域でズームインすることができる場合に、全360度として表示することができる。ユーザ全体をズームアウトする例示的な実施形態では、リングは明るい円として現われる。ユーザに、例えば左から右に45度から15度になるようにビューポートでズームする場合、リングの円弧を出力ディスプレイに表示することができる。しかしながら、例示的な実施形態はこれに限定されず、他の実施形態を、マッピング(例えば、1:1)、可視領域の調整(例えば、当該領域を部屋に居る人に対して目に見えるように表示するために)などに応じて、例示的な実施形態の替わりに用いることができる。
例示的な実施形態では、光源をプログラムで制御する必要がある。例示的な本実施形態では、360度カメラに関連する部屋のローカル領域内の関心領域をマッピングすることができる。このマッピングに基づいて、360度カメラの周りのライトを点灯させることができる。例えば、これに限定されないが、360度カメラが天井に取り付けられる場合、リモート参加者に3Dビューアのようなビューアを提供して、これらのビューアで360度カメラが位置する部屋をスキャンするときに、関心領域を焦点位置に移動させることができる。例えば、リモートユーザは部屋のプロジェクタ、質問を尋ねている参加者、マーカーボード、又は他のビジュアル焦点に焦点を合わせ、ビューアの関心領域をそれに応じて、自動的に、又はリモートユーザにより移動させることができる。
例示的な実施形態によれば、光源をモデル化して照明方式を実現することができる。1つの例示的な実施形態では、光源は、センサディスプレイとしてモデル化され、ピッチ、ヨー、及び視野(FoV)の角度値、並びにボリュームのような様々な関連属性を有する。
図2に示すように、複数のリモートビューアは、ミーティングルームの360度カメラから供給されるライトカメラストリームをビューすることができる。例示的な実施形態では、リモート参加者のうちの2つのリモート参加者が、360度カメラを含む部屋の投影対象ディスプレイのような、ほぼ同じ方向をビューすることができ、多分に、スライドショーなどを表示することができる。360度カメラの出力を遠く離れた場所でビューしている別の参加者は、質問を尋ねている、又は情報をこれらの別の参加者の場所に供給している参加者に任意に関連付けられる部屋の後ろ、ユーザ群のうち1つのユーザ、又は部屋の別の部分のような、別の方向に焦点を合わせることができる。当該参加者は当該人物に焦点を合わせる。
前述の例では、360度カメラの同じ方向に焦点を合わせる2つの参加者は、同様のヨー値と、若干下方に焦点を合わせた小ピッチと、を有することになる。これとは異なり、他の参加者は、当該参加者が当該部屋の単一のユーザ又は人物に焦点を合わせているので、高いピッチ値と、狭視野と、を有することになる。
各リモートユーザ群の各リモートユーザの関心領域のヨー及びピッチの入力を使用して、システムは、プログラム制御を光源に対して行なって、これらの値に関連するビジュアル出力を生成する。非限定的な例示的な実施形態によれば、2つのビジュアルインジケータライト(例えば、LEDリング)が互いの上に積み重ねられ、前述の例により、上側リングが2を下方に示すようになって、投影対象ディスプレイを見ているそれぞれ最初の2つの参加者の位置を表わすようになり、下側リングを使用して、質問を尋ねている参加者の位置に居る3番目のリモートユーザが見ている方向を消去する。中間のピッチ値の場合、上側リング及び下側リングの両方を点灯させてピッチ値の平均を与えることができる。
前述の例示的な実施形態は、2つの空間配列ビジュアルインジケータライト(例えば、2つのLEDリング)に関するものであるが、本発明のコンセプトは、空間配列ビジュアルインジケータライトに限定されない。半球形の食事用フレキシブルカラーディスプレイのような他の技術を用いて、ピッチ値及びヨー値の更に高精度の、又は更に正確なビジュアル指標を与えることができる。
したがって、人物又は自動ツールを含むことができるリモートユーザが、当該リモートユーザのビューポートを移動させて、360度カメラが配置されている部屋の別の領域に焦点を合わせると、リモートユーザによるこのような移動に関連するパンパラメータ、チルトパラメータ、及びズームパラメータを使用して、対応するライト、及び照明の光強度出力を変更することができる。例えば、これに限定されないが、リモートユーザが、これらのリモートユーザのビューポートを、プロジェクタスクリーンを見ている方向から、部屋の後ろの参加者を見ている方向に向かって360度カメラに基づいて移動させると、360度カメラに関連する対応する光がクラウンデバイスの周りに移動して光の輝度が変化し、リモートユーザはズームアウトする。
積層型ビジュアルインジケータライトは、360度カメラの部屋に居るローカル参加者に、どれほど多くのリモートユーザが360度カメラにアクセスしているのかについての印象を与えるために十分なヨー(例えば、カメラの周りの360°の角度)を前もって取り込むことができる。ビューポートは広いビュー領域を提供することができるが、状況に応じて、ビューポートの正確な焦点又は中心に合わせた焦点を実現できない可能性があることに留意されたい。
図2は、例示的な実施形態に関連する例示的なフローチャート200を示している。201では、360度カメラは入力を受信する。203では、360度カメラの当該入力が、1つ以上のリモートユーザS1、S2・・・Snにストリーミング配信される。ストリーム群の各ストリームは、関心領域にリモートユーザ群の各リモートユーザ又はリモート参加者群の各リモート参加者により関連付けられる。例えば、ビューポートは、リモートユーザ群の各リモートユーザに提供することができる。
所定のユーザの特定の関心領域に基づいて、ピッチ、ヨー、及び視野のようなパラメータの指標値が生成されるだけでなく、ボリュームが生成される。上に説明したように、これらの値は、関心領域に関連するピッチ、ヨー、及び視野をライト出力にマッピングするマッピング関数に207において出力される。
したがって、209では、信号が、クラウンの照明にシステムにより供給されると、ライトリングが、207で生成されたマッピングに従って点灯し、マッピングは、205でリモート参加者の関心領域に基づいて受信されるパラメータに基づいており、これらのパラメータが今度は、201の360度カメラから203で受信されるそれぞれのストリームに基づいている。
図3は、例示的な実施形態によるマッピングに基づく例示的な出力を示している。300では、360度カメラ303、並びに1つ以上のライトリングを含むクラウン305を含む装置301が提供される。
前述の例では、2つのリモートビューアが360度カメラに対して真っ直ぐ前方を見ており、これらのリモートビューアは、互いに同じ方向に作業している。これとは異なり、3番目の参加者は、最初の2つのリモートユーザとは異なる方向の下方を見ている。上に説明したマッピングに基づいて、クラウン305の上側領域にあるビジュアル出力が309で供給される。このビジュアル出力は、第1の色、この場合はオレンジであるこのビジュアル出力は、307で供給されるビジュアル出力の2倍の長さであるが、その理由は、307の方向に見ている1つのリモートユーザと比較して、309の方向に見ている2つのリモートビューアがいるからである。
さらに、307でのビジュアル出力と比較して、309でのビジュアル出力は、クラウン上でより高くなっているが、その理由は、リモートビューアが、人物が人物の机に座っているように、部屋のより低い位置に焦点を合わせる3番目のユーザとは異なり、プロジェクションスクリーンのような、部屋のより高い上方の位置に焦点を合わせるからである。さらに、プロジェクタスクリーンの視野は、人物の机に座っている人物の狭い視野よりも広いので、309と比較してより少ない数のライトが307で、リモートユーザ群の各リモートユーザの視野に基づいて、上に説明した通りに取得される(例えば、リモートユーザのビューポートにより)情報に基づいて点灯する。
別の例示的な実施形態によれば、ミーティングを360度カメラでビューしているリモートユーザは多数である可能性がある。このような状況では、実際に多数のビューアが、上に説明した態様で遠く離れた場所で所定の方向に作業していたことを正確に表わすことは比較的困難となる可能性がある。別のアプローチとして、ライトパワー(例えば、光強度又は輝度)を使用して、ユーザの数の指標値を与えることができる。例えば、これに限定されないが、同様のヨー角及びピッチ角を有するリモートユーザがより多くいる場合、より明るい色がビジュアルインジケータライトにより放出される可能性がある。さらに、1つ以上のリモートユーザが360度カメラとの接続を行なう、又は接続を解除することにより、ユーザがミーティングに参加している、又はミーティングから離れていることを示す状況の場合、特殊な照明効果が実現される可能性がある。
さらに、別の例示的な実施形態によれば、ローカル参加者群のうち1つ以上のローカル参加者は、特定のリモートユーザの状態又はアイデンティティに気付きたいと考える場合がある。1つの例によれば、会社の最高経営責任者(CEO)は、ミーティングに加わるリモートユーザである可能性があるのみならず、1つ以上の他のリモートユーザである可能性もある。この環境では、360度カメラを備える部屋のローカル参加者は、CEOの遠く離れた場所での挙動に関連付けられる光源に気付きたいと考える可能性がある。
前述の状況に対応するために、双方向オーディオを設けて、CEOが接続時に、又は他の種類の機会に自己紹介することができるようにする。さらに、予約アクション効果を用いて、ローカル参加者が、特定のライトがCEOにリモートユーザとして関連付けられていることを認識することができるようにする。例えば、これに限定されないが、特定のユーザは、色をユーザのユーザ識別又は認証のいずれかに基づいて予約している可能性がある。
別の例示的な実施形態によれば、リモートユーザを特定のビューポートに集中させることができる。この例示的な実施形態によれば、ローカルプレゼンター又はリモートプレゼンターは、全てのリモートユーザに、リモートユーザのリモートビューの焦点を特定の関心領域にのみ合わせるように要求することができる。例えば、ローカルプレゼンターは、全てのリモート参加者に対して、リモート参加者の関心領域、及びスライドを提示するように強制したいと考える可能性がある。このように、ローカルプレゼンターは、リモートビューアをプロジェクタに関連するビューポートに集中させることができる。この集中機能が実行されると、360度カメラに関連するライトは、ライトの全てを移動させて4.2プロジェクタを揃えて、ローカル参加者が、リモートユーザ群の全てが現在、当該方向に集中していることに気付くことができるようにするアニメーションのような可視化情報を出力することができる
上述のように、リモートユーザは、ホームオートメーションエージェント用の自動監視システムのようなエージェントとすることができる。これらのエージェントは、360度カメラに関連するライトにより、例えば特定の色を使用してビジュアル表示されて、エージェントを、人物に関連する他のリモートユーザから区別することもできる。これらのエージェント、特に人工知能を使用するエージェントの場合、「3D mic(3Dマイク)」とも表記されるマルチダイレクトマイクロホンアレイを使用して、誰かが、360度カメラに関連する部屋のその場で現在発話している場所を判断することができる。したがって、360度カメラのライトを消灯して、AIベースエージェントが360度カメラを介して遠く離れた場所で感知していて、ローカルユーザがエージェントの焦点に気付くようになることを示すことができる。
照明、マッピング、ユーザ設定などの制御のような前述の例示的な実施形態の管理及び制御は、これらには限定されないが、ウェブユーザ体験、モバイルオンラインアプリケーション、テキストベース通信サービスチャネル、並びに音声コマンドを含む1つ以上のアプローチにより制御することができる。システムは対話型とすることができる(例えば、ボット及び/又は音声起動システム)。
360度カメラ及び関連する光源は、特殊な消灯信号又は点灯信号を供給するのみならず、オーディオ効果を実現することができる。例えば、これに限定されないが、ウェブサイトを用いて、コマンドに関連する色を制御することができる。同様に、ライト装置により出力される光の他の態様を制御することができる。
前述の例の1つの実施形態によれば、基台は、図4の400で示されるようなLED帯401を使用して形成されており、これらのLED帯401は、互いの上に積み重ねられ、3D印刷の半透明基台の内部に閉じ込められる。次に、360度カメラを当該構造の上部に取り付けた。基台内に閉じ込められたLEDは、360度カメラの性能に悪影響を与えなかったので、連携イベントは中断することなく継続することができた。この装置は、ミーティングルーム内に配備され、360度ビデオビューアをリモートユーザに供給して、ヨー値、ピッチ値、及び視野値がリモートユーザから受信されるようにした。LEDリングが制御され、サーバに接続された。
図5は、例示的な実施形態のプログラムによる例示的なプロセス500を示している。ステップ501では、入力(コンテンツ)を360度カメラから受信する。例えば、この入力は、ローカル環境の360度カメラを介して全ての方向に常時受信される情報に関連付けることができる。
ステップ503では、ストリームを各リモートユーザに対応して生成する。上に説明したようにリモートユーザは、これらに限定されないが、人物に関連するリモートユーザ、及びエージェントを含むことができる。リモートユーザ群の各リモートユーザは、360度カメラとのインタラクションをビューポートのようなデバイスを介して行なうことができる。
ステップ505では、ストリーム及びリモートユーザのデバイスからの情報に基づいて、関心領域情報及びボリューム情報を決定する。例えば、ピッチ、ヨー、及び視野を決定することができる。さらに、リモートユーザが人物又はエージェントであるかどうか、及びリモートユーザが人物であるかどうか、リモートユーザが特定の認証情報又は肩書(例えば、CEO)のような他のアイデンティティ指標を有する人物であるかどうかのようなリモートユーザに関連する情報は、ステップ505で生成又は決定することもできる。
ステップ507では、ステップ505で取得された、又は決定された情報を取り出し、当該情報を360度カメラに関連する特定の照明構成の特定のライト構造にマッピングするマッピング関数を実行する。異なる360度カメラは、異なる照明構成及び機能を有することができ、異なるマッピングを入手して、システムを多数の360度カメラ配列で使用することができる。
ステップ507で実行されるマッピングに基づいて、ステップ509では、コマンドを生成して照明に供給することができる。コマンドに基づいて、リモートユーザに関連する関心領域情報を表わすライト出力を生成して、360度カメラを備える部屋のローカルユーザが、上に説明したように、リモートビューアの数、リモートビューア群の各リモートビューアのビューイング方向などのような、リモートユーザの挙動に気付くようにする。
図6は、幾つかの例示的な実施形態において使用されるために適する例示的なコンピュータデバイス605を備える例示的なコンピューティング環境600を示している。コンピューティング環境600内のコンピューティングデバイス605は、1つ以上の処理ユニット、コア、又はプロセッサ610、メモリ615(例えば、RAM、ROM、及び/又は同様のメモリ)、内部ストレージ620(例えば、磁気ストレージ、光ストレージ、固体ストレージ、及び/又は有機ストレージ)、及び/又はI/Oインターフェース625を含むことができ、これらのいずれもが、情報を通信する通信機構又はバス630で結合され得る、又はコンピューティングデバイス605に埋め込まれ得る。
コンピューティングデバイス605は、入力/インターフェース635及び出力デバイス/インターフェース640に通信可能に結合され得る。入力/インターフェース635及び出力デバイス/インターフェース640の一方又は両方は、有線又は無線インターフェースとすることができ、脱着可能とすることができる。入力/インターフェース635は、入力を供給するために使用することができる任意のデバイス、コンポーネント、センサ、又はインターフェースを、実体又は仮想であるかどうかに関係なく含むことができる(例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング/カーソルコントロール、マイクロホン、カメラ、点字 、モーションセンサ、光学式リーダ、及び/又は同様のデバイス)。
出力デバイス/インターフェース640は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含むことができる。幾つかの例示的な実装形態では、入力/インターフェース635(例えば、ユーザインターフェース)及び出力デバイス/インターフェース640は、コンピューティングデバイス605に埋め込まれ得るか、又は物理的に結合され得る。他の例示的な実施形態では、他のコンピューティングデバイスは、コンピューティングデバイス605の入力/インターフェース635及び出力デバイス/インターフェース640として機能することができるか、又は入力/インターフェース635及び出力デバイス/インターフェース640の機能を提供することができる。これらの要素は、これに限定されないが、ユーザがAR環境とのインタラクションを行なえるような公知のARハードウェア入力を含むことができる。
コンピューティングデバイス605の例は、これらには限定されないが、高度モバイルデバイス(例えば、スマートフォン、車両及び他の機械内のデバイス、人間及び動物により運ばれるデバイスなど)、モバイルデバイス(例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピューター、ポータブルテレビ、ラジオなど)、及び可動性を目的に設計されていないデバイス(例えば、デスクトップコンピュータ、サーバデバイス、その他のコンピュータ、情報キオスク、1つ以上のプロセッサが埋め込まれた、及び/又は結合されたテレビ、ラジオなど)を含むことができる。
コンピューティングデバイス605は、外部ストレージ645及びネットワーク650に通信可能に結合されて(例えば、I/Oインターフェース625を介して)、任意の数のネットワーク接続コンポーネント、デバイス、及び同じ、又は異なる構成の1つ以上のコンピューティングデバイスを含むシステムと通信することができる。コンピューティングデバイス605又は任意の接続先コンピューティングデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、特殊用途マシン、又は別のラベルのサービスを供給するものとして機能することができる、又はサーバ、クライアント、シンサーバ、汎用マシン、特殊用途マシン、又は別のラベルと表記することができる。
I/Oインターフェース625は、これに限定されないが、任意の通信プロトコル又は規格、若しくはI/Oプロトコル又は規格(例えば、イーサネット(登録商標)、802.11xs、ユニバーサルシステムバス、WiMAX、モデム、セルラーネットワークプロトコルなど)を使用して情報を、コンピューティング環境600内の少なくとも接続先コンポーネント、デバイス、及びネットワークの全てに送信する、及び/又は全てから受信する有線及び/又は無線インターフェースを含むことができる。ネットワーク650は、任意のネットワーク、又はネットワーク群の組み合わせとすることができる(例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、携帯電話ネットワーク、衛星ネットワークなど)。
コンピューティングデバイス605は、一時的な媒体及び非一時的な媒体を含むコンピュータ可用媒体又はコンピュータ可読媒体を使用することができる、及び/又はコンピュータ可用媒体又はコンピュータ可読媒体を使用して通信することができる。一時的な媒体は、伝送媒体(例えば、金属ケーブル、光ファイバ)、信号、搬送波などを含む。非一時的な媒体は、磁気媒体(例えば、ディスク及びテープ)、光媒体(例えば、CD ROM、デジタルビデオディスク、ブルーレイディスク)、固体媒体(例えば、RAM、ROM、フラッシュメモリ、固体ストレージ)、及び他の不揮発性ストレージ又はメモリを含む。
コンピューティングデバイス605を使用して、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を幾つかの例示的なコンピューティング環境で実行することができる。コンピュータ実行可能命令は、一時的な媒体から取り出すことができ、非一時的な媒体に格納して非一時的な媒体から取り出すことができる。実行可能命令は、任意のプログラミング言語、スクリプト言語、及びマシン言語(C、C++、C#、Java(登録商標)、Visual Basic、Python、Perl、JavaScript(登録商標)、及び他の言語)のうち1つ以上の言語で作成することができる。
プロセッサ(群)610は、任意のオペレーティングシステム(OS)(図示せず)の下でネイティブ環境又は仮想環境で実行することができる。論理ユニット655、アプリケーションプログラミングインターフェース(API)ユニット660、入力ユニット665、出力ユニット670、ROI決定部675、ROI対ライトマッピング部680、360度カメラ/ストリーミング部685、及び異なるユニットが互いに、OS、及び他のアプリケーション(図示せず)と通信するユニット間通信機構695を含む1つ以上のアプリケーションを展開することができる。
例えば、ROI決定部675、ROI対ライトマッピング部680、及び360度カメラ/ストリーミング部685は、図2及び図5に示す1つ以上のプロセスを、図1(a)〜図1(c)、図3及び図4に示す構造に対して実行することができる。説明したユニット及び要素は、設計、機能、構成、又は実施形態を変えることができ、提供される説明に限定されない。
幾つかの例示的な実施形態では、情報又は実行命令がAPIユニット660により受信されると、情報又は実行命令を1つ以上の他のユニット(例えば、論理ユニット655、入力ユニット665、ROI決定部675、ROI対ライトマッピング部680、及び360度カメラ/ストリーミング部685)に伝達することができる。例えば、上に説明したように、ROI決定部675は入力を、360度カメラから受信されるストリームから特定することができ、関心領域だけでなくピッチ、ヨー、及び視野情報を決定することができる。ROI対ライトマッピング部680は、照合をROI情報と360度カメラに関連する照明システムとの間で行なってコマンド信号を供給して、ライトがROI情報に基づいて点灯するようにすることができる。また、360度カメラ/ストリーミング部685は、ストリームをリモートユーザに供給することができる。
場合によっては、上に説明した幾つかの例示的な実施形態では、論理ユニット655は、ユニット群の間の情報フローを制御し、APIユニット660、入力ユニット665、ROI決定部675、ROI対ライトマッピング部680、及び360度カメラ/ストリーミング部685により供給されるサービスを指示するように構成することができる。例えば、1つ以上のプロセス又は実施形態のフローは、論理ユニット655単独で、又はAPIユニット660と連動して制御することができる。
図7は、幾つかの例示的な実施形態に適する例示的な環境を示している。環境700は、デバイス705〜745を含み、各デバイスは、少なくとも1つの他のデバイスに、例えばネットワーク760を介して(例えば、有線及び/又は無線接続により)通信可能に接続される。幾つかのデバイスは、1つ以上のストレージデバイス730及び745に通信可能に接続することができる。
1つ以上のデバイス705〜745の例は、それぞれ図6に説明されるコンピューティングデバイス605とすることができる。デバイス705〜745は、これらには限定されないが、上記に説明したモニタ及び関連するウェブカメラを有するコンピュータ705(例えば、ラップトップコンピューティングデバイス)、モバイルデバイス710(例えば、スマートフォン又はタブレット)、テレビ715、車両720に関連するデバイス、サーバコンピュータ725、コンピューティングデバイス735〜740、ストレージデバイス730及び745を含むことができる。
デバイスは、これに限定されないが、ユーザがAR環境、VR環境、複合現実環境、又は他の環境でインタラクションを行なうことを可能にするこの技術分野で周知のAR周辺機器に通信可能に接続することができる。さらに、デバイスは、当業者が理解しているように、メディアオブジェクトキャプチャハードウェア(media object capture hardware)を含むことができる。
幾つかの実施形態では、デバイス705〜720は、企業のユーザに関連するユーザデバイスであると考えることができる。デバイス725〜745は、サービスプロバイダに関連するデバイス(例えば、外部ホストにより使用されて上に説明した様々な図面に関するサービスを供給する、及び/又はウェブページ、テキスト、テキスト部分、画像、画像部分、音声、音声セグメント、動画、動画セグメント、及び/又はこれらの要素に関する情報のようなデータを格納する)とすることができる。
前述の例示的な実施形態は、従来技術よりも優れた様々な恩恵及び利点をもたらすことができる。例えば、これに限定されないが、従来技術による360度カメラは、機能的ライトを提供することができるが、従来技術によるアプローチは、ローカルユーザに、ローカルユーザが人物であるか、又はエージェントであるかどうかに関係なく、リモートユーザの方向又は数のいずれの指標値も供給することがない。したがって、例示的な本実施形態は、ユーザに、リモートユーザの方向、数、又はアイデンティティのこのようなビジュアル指標を与える。さらに、ビジュアル指標は、LEDレインの代わりに、アイコンなどとすることができることに留意されたい。
同様に、ローカルミーティングの参加者には、強化されたプライバシー保護の機会を与えることができるだけでなく、ローカル参加者とリモート参加者との間の注視及び気付きを与えて、改善された連携を実現することができる。例えば、プライバシーは、システムが人工のリモートユーザと人間のリモートユーザとを、例えばフラグ又は他の手段により見分けるので、強化される可能性がある。
別の例示的な実施形態によれば、デスクトップバージョンを提供して、彼又は彼女のデスクトップに居るユーザが360度カメラを用いて、上記の方法で別のユーザ、又は複数の他のユーザと通信することができるようにする。
更に別の例示的な実施形態によれば、前述の機能は、拡張現実システムであるとされてきた仮想現実に取り込まれてもよい。例えば、360度カメラをビューするためにリモートユーザにより使用されるデバイスは、VR/ARビューアとすることができ、リモートユーザは、部屋の天井にあるような360度カメラのロケーションの視点から、ミーティングに居るような体験をすることができる。また、前述のシステムは、VR、ARビューアの状況、又は他の状況にあるかどうかに関係なく、生のストリーミング双方向通信に使用することができることに留意されたい。
幾つかの例示的な実施形態を示して説明してきたが、これらの例示的な実施形態は、本明細書において説明される主題を、この分野に精通している人々に伝えるために提供される。本明細書において説明される主題は、様々な形態で、説明される例示的な実施形態に限定されることなく実現することができることを理解されたい。本明細書において説明される主題は、具体的に定義又は記載されているこれらの事項を用いることなく実施することができる、又は記載されていない他の要素又は異なる要素、若しくは事項と一緒に実施することができる。この分野に精通する当業者であれば、変更をこれらの例示的な実施形態において、添付の特許請求の範囲及び特許請求の範囲の均等物で定義される本明細書において説明される主題から逸脱することなく行なうことができることを理解できるであろう。

Claims (20)

  1. 1つ以上のローカルユーザを含むボリュームを撮像して複数のリモートユーザのための出力を生成するように構成される360度カメラと、
    前記リモートユーザのビューイング方向又は数を表わす、前記1つ以上のローカルユーザのためのビジュアル出力を、前記リモートユーザの関心領域のマッピングに基づいて生成するように構成される照明デバイスと、を備え、
    前記照明デバイスは、前記360度カメラに関連付けられる、
    装置。
  2. 前記リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む請求項1に記載の装置。
  3. 前記リモートユーザの前記関心領域のマッピングは、前記複数のリモートユーザの各リモートユーザのために、前記照明デバイスにマッピングされるヨー値、ピッチ値、及び視野値を含む請求項1に記載の装置。
  4. 前記照明デバイスは積層型ビジュアルインジケータライトを含む請求項1に記載の装置。
  5. 前記積層型ビジュアルインジケータライトは、前記360度カメラを受け入れるように構成されるクラウンに埋め込まれる請求項4に記載の装置。
  6. 前記ビジュアル出力は、前記リモートユーザの前記ビューイング方向又は前記数、若しくは前記1つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する前記複数のリモートユーザのうち1つ以上のリモートユーザの前記ビューイング方向又は前記数を表わす、前記照明デバイスのサイズ、色、及び光強度のうち少なくとも1つを含む請求項1に記載の装置。
  7. 前記リモートユーザのモーションは、前記モーションに対応する、前記360度カメラの周りの前記照明デバイスのモーション及び輝度により表わされる請求項1に記載の装置。
  8. 前記リモートユーザの前記モーションは、パン、チルト、及びズームのうち1つ以上を含む請求項7に記載の装置。
  9. 方法であって、
    入力を360度カメラから受信し、前記入力がローカル環境の前記360度カメラを介して受信される情報に関連付けられることと、
    複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザが前記360度カメラとのインタラクションを、デバイスを介して行なうことと、
    前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
    前記決定した関心領域情報を前記360度カメラに関連する特定の照明構成の特定のライト構造にマッピングすることと、
    コマンドを生成して前記コマンドを前記照明構成に供給することと、
    前記360度カメラの位置に居る、又は前記360度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記コマンドに基づいて、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力を生成することと、を含む方法。
  10. 前記リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む請求項9に記載の方法。
  11. 前記リモートユーザの前記関心領域情報の前記マッピングは、複数のリモートユーザの各リモートユーザのために前記ライト構造にマッピングされるヨー値、ピッチ値、及び視野値を含む請求項9に記載の方法。
  12. 前記照明構成は積層型ビジュアルインジケータライトを含み、前記積層型ビジュアルインジケータライトは、前記360度カメラを受け入れるように構成されるクラウン内に埋め込まれる請求項9に記載の方法。
  13. 前記ライト出力は、前記リモートユーザのビューイング方向又は数、若しくは1つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する前記複数のリモートユーザのうち1つ以上のリモートユーザの前記ビューイング方向又は前記数を表わす、前記照明構成のサイズ、色、及び光強度のうち少なくとも1つを含む請求項9に記載の方法。
  14. 前記リモートユーザのモーションは、前記モーションに対応する、前記360度カメラの周りの前記照明構成のモーション及び輝度により表わされ、前記リモートユーザの前記モーションは、パン、チルト、及びズームのうち1つ以上を含む請求項9に記載の方法。
  15. プロセッサに、
    複数のリモートユーザの各リモートユーザのためにストリームを生成して、各リモートユーザがローカル環境に関連する情報を供給する360度カメラとのインタラクションを、デバイスを介して行なうことと、
    前記複数のリモートユーザの各リモートユーザのための前記リモートユーザの前記デバイスからの前記ストリーム及び情報に基づいて、関心領域情報を決定することと、
    前記決定した関心領域情報を前記360度カメラに関連する特定の照明構成の特定のライト構造にマッピングすることと、
    前記360度カメラの位置に居る、又は前記360度カメラの近くに居るローカルユーザがライト出力をビューすることができるように、前記リモートユーザに関連する前記関心領域情報を表わす前記ライト出力のコマンドを生成することと、
    を実行させるプログラム。
  16. 前記リモートユーザは、自動エージェント及び人物のうち少なくとも一方を含む請求項15に記載のプログラム。
  17. 前記リモートユーザの前記関心領域情報の前記マッピングは、前記照明構成にマッピングされるヨー値、ピッチ値、及び視野値を、前記複数のリモートユーザの各リモートユーザのために、含む請求項15に記載のプログラム。
  18. 前記照明構成は積層型ビジュアルインジケータライトを含み、前記積層型ビジュアルインジケータライトは、前記360度カメラを受け入れるように構成されるクラウン内に埋め込まれる請求項15に記載のプログラム。
  19. 前記ライト出力は、前記リモートユーザのビューイング方向又は数、若しくは1つ以上のローカルユーザにより決定されるビューポートに参加する、ビューポートから離れる、ビューポートに向かって発話する、及びビューポートに同期する前記複数のリモートユーザのうち1つ以上のリモートユーザの前記ビューイング方向又は前記数を表わす、前記照明構成のサイズ、色、及び光強度のうち少なくとも1つを含む請求項15に記載のプログラム。
  20. 前記リモートユーザのモーションは、前記モーションに対応する、前記360度カメラの周りの前記照明構成のモーション及び輝度により表わされ、前記リモートユーザの前記モーションは、パン、チルト、及びズームのうち1つ以上を含む請求項15に記載のプログラム。
JP2019224510A 2018-12-21 2019-12-12 超広角360度カメラの注視及び気付きを行なうシステム、方法、装置、及びプログラム Active JP7472483B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/230,669 2018-12-21
US16/230,669 US10887514B2 (en) 2018-12-21 2018-12-21 System and method of providing gaze and awareness for ultra wide and 360 cameras

Publications (2)

Publication Number Publication Date
JP2020102845A true JP2020102845A (ja) 2020-07-02
JP7472483B2 JP7472483B2 (ja) 2024-04-23

Family

ID=71097983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019224510A Active JP7472483B2 (ja) 2018-12-21 2019-12-12 超広角360度カメラの注視及び気付きを行なうシステム、方法、装置、及びプログラム

Country Status (3)

Country Link
US (1) US10887514B2 (ja)
JP (1) JP7472483B2 (ja)
CN (1) CN111355883B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010009568A1 (en) * 2000-01-26 2001-07-26 Nec Corporation Image decoding apparatus, semiconductor device, and image decoding method
JP2019110535A (ja) * 2017-12-15 2019-07-04 株式会社電通国際情報サービス コミュニケーション装置及び遠隔コミュニケーションシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3823219C1 (ja) * 1988-07-08 1989-05-18 Telenorma Telefonbau Und Normalzeit Gmbh, 6000 Frankfurt, De
US5443076A (en) * 1992-05-22 1995-08-22 Bau; Marcel Means for enhancing the productivity of video telecommunication systems
JP3817020B2 (ja) * 1997-05-23 2006-08-30 ▲舘▼ ▲すすむ▼ 仮想空間における画像生成方法及び装置並びに撮像装置
JP2005086365A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置、会議装置および撮像条件調整方法
FR2910770A1 (fr) * 2006-12-22 2008-06-27 France Telecom Dispositif pour permettre une communication par visioconference et procede de communication associe.
US20110096137A1 (en) * 2009-10-27 2011-04-28 Mary Baker Audiovisual Feedback To Users Of Video Conferencing Applications
US9258523B2 (en) * 2009-11-12 2016-02-09 Arun Sobti & Associates Llc Apparatus and method for integrating computing devices
US9258394B2 (en) * 2009-11-12 2016-02-09 Arun Sobti & Associates, Llc Apparatus and method for integrating computing devices
US8624955B2 (en) * 2011-06-02 2014-01-07 Microsoft Corporation Techniques to provide fixed video conference feeds of remote attendees with attendee information
US8848021B2 (en) * 2012-01-19 2014-09-30 Microsoft Corporation Remote participant placement on a unit in a conference room
US9412375B2 (en) * 2012-11-14 2016-08-09 Qualcomm Incorporated Methods and apparatuses for representing a sound field in a physical space
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
US9538065B2 (en) * 2014-04-03 2017-01-03 Qualcomm Incorporated System and method for multi-focus imaging
US9628529B2 (en) * 2014-08-18 2017-04-18 Cisco Technology, Inc. Region on interest selection
US9516220B2 (en) * 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US9930270B2 (en) * 2015-10-15 2018-03-27 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer
WO2018051222A1 (en) * 2016-09-15 2018-03-22 Project Ray Ltd. System and method for remotely assisted camera orientation
US10009568B1 (en) * 2017-04-21 2018-06-26 International Business Machines Corporation Displaying the simulated gazes of multiple remote participants to participants collocated in a meeting space
US10148912B1 (en) * 2017-06-26 2018-12-04 Amazon Technologies, Inc. User interface for communications systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010009568A1 (en) * 2000-01-26 2001-07-26 Nec Corporation Image decoding apparatus, semiconductor device, and image decoding method
JP2019110535A (ja) * 2017-12-15 2019-07-04 株式会社電通国際情報サービス コミュニケーション装置及び遠隔コミュニケーションシステム

Also Published As

Publication number Publication date
US20200204731A1 (en) 2020-06-25
US10887514B2 (en) 2021-01-05
JP7472483B2 (ja) 2024-04-23
CN111355883A (zh) 2020-06-30
CN111355883B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US10440322B2 (en) Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US9883138B2 (en) Telepresence experience
CN105306868B (zh) 视频会议系统及方法
US20130229483A1 (en) Functionality for Indicating Direction of Attention
US11595615B2 (en) Conference device, method of controlling conference device, and computer storage medium
CN104469256A (zh) 沉浸式和交互式的视频会议房间环境
WO2012100114A2 (en) Multiple viewpoint electronic media system
US10869009B2 (en) Interactive display
US10732706B2 (en) Provision of virtual reality content
CN204721476U (zh) 沉浸式和交互式的视频会议房间环境
JP2023131635A (ja) 表示システム、表示方法、撮像装置、プログラム
US20210112209A1 (en) Systems and methods for automatic detection and insetting of digital streams into a video
US10778891B2 (en) Panoramic portals for connecting remote spaces
CN114631323B (zh) 区划适应性视频生成
CN113676690A (zh) 一种视频会议的实现方法、设备及存储介质
JP7472483B2 (ja) 超広角360度カメラの注視及び気付きを行なうシステム、方法、装置、及びプログラム
EP3190503A1 (en) An apparatus and associated methods
BE1029675B1 (nl) Systeem voor het verrijken van een online meeting
EP4156147A1 (en) System, device, and method for improving visual and/or auditory tracking of a presentation given by a presenter
Osawa et al. Distributed automatic camera control system tracking markers for distance education
JP2024029642A (ja) 情報処理装置、表示方法、プログラム
TWI554822B (zh) 同步指示位置之簡報系統及其方法
TW202236845A (zh) 視頻顯示方法、裝置、設備和儲存媒體
WO2020194190A1 (en) Systems, apparatuses and methods for acquiring, processing and delivering stereophonic and panoramic images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7472483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150