JP2018085571A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2018085571A
JP2018085571A JP2016226210A JP2016226210A JP2018085571A JP 2018085571 A JP2018085571 A JP 2018085571A JP 2016226210 A JP2016226210 A JP 2016226210A JP 2016226210 A JP2016226210 A JP 2016226210A JP 2018085571 A JP2018085571 A JP 2018085571A
Authority
JP
Japan
Prior art keywords
space
content
information processing
viewing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016226210A
Other languages
English (en)
Inventor
佐藤 直之
Naoyuki Sato
直之 佐藤
浩丈 市川
Hirotake Ichikawa
浩丈 市川
誠司 鈴木
Seiji Suzuki
誠司 鈴木
真人 島川
Masato Shimakawa
真人 島川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016226210A priority Critical patent/JP2018085571A/ja
Priority to US16/343,547 priority patent/US11212515B2/en
Priority to PCT/JP2017/038859 priority patent/WO2018092545A1/ja
Publication of JP2018085571A publication Critical patent/JP2018085571A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene

Abstract

【課題】実空間のセンシング結果に基づいたコンテンツの視聴を適切に制限することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。
【解決手段】実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、所定の条件に基いて、実空間の一部空間のうち、外部のユーザに閲覧されることを望まない物体や空間に対応する部分を、例えば黒色などの所定の色で塗りつぶすなどにより、視聴を制限する視聴制限部、を備える。
【効果】外部のユーザによる自由視点のコンテンツの視聴を一部可能としつつ、権限者のプライバシーを適切に保護できる。
【選択図】図9

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、例えば臨場感の高いコンテンツを生成することを目的として、実空間をセンシングした結果に基いてコンテンツを生成する技術が各種提案されている。
例えば、下記特許文献1には、視野が互いに一部重なり合うように配置された複数のカメラにより撮影された画像に基いて全方位画像を生成する技術が記載されている。
特開2005−4487号公報
ところで、実空間によっては、当該実空間の全体が例えば外部のユーザに閲覧されることが望ましくない場合もある。
しかしながら、特許文献1に記載の技術では、生成された全方位画像内の全ての領域をユーザが詳細に閲覧可能となってしまう。
そこで、本開示では、実空間のセンシング結果に基づいたコンテンツの視聴を適切に制限することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、を備える、情報処理装置が提供される。
また、本開示によれば、実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いてプロセッサが制限すること、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、として機能させるための、プログラムが提供される。
以上説明したように本開示によれば、実空間のセンシング結果に基づいたコンテンツの視聴を適切に制限することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態による情報処理システムの構成例を示した説明図である。 第1の実施形態によるサーバ10の構成例を示した機能ブロック図である。 第1の実施形態による操作画面の一例を示した説明図である。 部屋2の中でのユーザの移動と発話とに基づいて制限対象の空間が設定される例を示した説明図である。 ベッド30aが制限対象の物体に設定された際における自由視点のコンテンツの表示例を示した説明図である。 ベッド30aが制限対象の物体に設定されている際における、第2の表示部24による表示例を示した説明図である。 コンテンツを視聴しているユーザの映像32の、第2の表示部24による表示例を示した説明図である。 第1の実施形態による「制限対象の物体・制限対象の空間の設定時の処理の流れ」を示したフローチャートである。 第1の実施形態による「コンテンツの表示時の処理の流れ」を示したフローチャートである。 第2の実施形態による情報処理システムの構成例を示した説明図である。 第2の実施形態による仮想的な共有空間60の生成例を示した説明図である。 共有空間60に基づいて生成されたコンテンツが各部屋2内の第1の表示部22に提供される例を示した図である。 各実施形態に共通するサーバ10のハードウェア構成例を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてサーバ10aおよびサーバ10bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、サーバ10aおよびサーバ10bを特に区別する必要が無い場合には、単にサーバ10と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.第1の実施形態
2.第2の実施形態
3.ハードウェア構成
4.変形例
<<1.第1の実施形態>>
<1−1.情報処理システムの構成>
まず、第1の実施形態について説明する。図1は、第1の実施形態による情報処理システムの構成例を示した説明図である。図1に示すように、第1の実施形態による情報処理システムは、サーバ10、複数のセンサ部20、第1の表示部22、第2の表示部24、および、通信網26を含む。
図1に示すように、第1の実施形態では、所定の実空間の中にセンサ部20が複数配置されており、かつ、当該複数のセンサ部20により所定の実空間の略全体の三次元情報が取得される場面を想定する。ここで、所定の実空間は、例えば家、店舗、オフィスビルや、レジャー施設などの所定の建物内の部屋2や廊下などであり得る。なお、以下では、所定の実空間が所定の建物内の部屋2である例を中心として説明を行う。
また、図1に示すように、部屋2の中には、例えばベッド30a、ソファ30b、または、テーブル30cなどの複数の物体30が配置されていることを想定する。また、図1に示すように、部屋2の中には、例えば部屋2の居住者などの部屋2の管理権限を有するユーザ6(以下、権限者6と称する場合がある)が位置し得る。
{1−1−1.センサ部20}
センサ部20は、センサ部20の前方に位置する物体までの距離を測定する。例えば、センサ部20は、デプスセンサ、ステレオカメラ、または、レンジファインダを含み得る。
また、センサ部20は、例えばイメージセンサ(RGBカメラ)をさらに含み、そして、センサ部20の前方の画像を撮影することが可能である。なお、部屋2の中に配置されている複数のセンサ部20により取得されるセンシングデータは、キャリブレーションやフレーム同期処理などにより精度良く合成され得る。
{1−1−2.サーバ10}
サーバ10は、本開示における情報処理装置の一例である。サーバ10は、複数のセンサ部20によるセンシングデータを、後述する通信網26を介して取得し、そして、取得したセンシングデータに基づいて、部屋2に関する自由視点のコンテンツを生成する。
また、サーバ10は、生成した自由視点のコンテンツを通信網26を介して、例えば部屋2の外部(遠隔地など)に位置する、後述する第1の表示部22へ伝送し、そして、第1の表示部22に表示させることが可能である。
(自由視点のコンテンツ)
ここで、自由視点のコンテンツは、(複数の地点に配置された)複数の視点(センサ部20)から実空間がセンシングされたデータに基いて得られる、自由な視点位置からの映像(例えば当該実空間の映像など)を提示するためのデータであり得る。例えば、複数の視点から実空間が例えば同時にセンシングされたデータが統合されることにより三次元の仮想空間が構築され得る。この場合、自由視点のコンテンツは、当該三次元の仮想空間における、自由な視点からの映像を提示するデータであり得る。例えば、自由視点のコンテンツは、当該三次元の仮想空間において、視点を仮想的に自由に動かした際の当該視点からの当該仮想空間の映像を提示するデータであり得る。
例えば、ユーザが装着しているHMD(Head Mounted Display)に自由視点のコンテンツが表示されており、かつ、視点を移動させるための操作(例えば、所定の入力デバイスに対する操作や音声コマンドなど)をユーザが行った場合には、当該操作に基づく移動後の視点からの映像が当該HMDに表示され得る。このように、ユーザは、視点を自由に移動させて当該コンテンツを視聴することが可能であり得る。
また、自由視点のコンテンツは、センシング対象の実空間内の各物体を示す三次元情報および色情報を含み得る。例えば、自由視点のコンテンツは、上記の三次元の仮想空間における、当該各物体に対応する仮想オブジェクトが有する各点の位置を示す三次元情報および各点の色情報を含む。また、自由視点のコンテンツは、複数のセンサ部20により集音された音声などの音情報をさらに含んでもよい。
{1−1−3.第1の表示部22}
第1の表示部22は、例えばサーバ10から伝送される自由視点のコンテンツなどの映像を表示する。第1の表示部22は、図1に示すように、例えば非透過型のHMDであり得る。この場合、部屋2の外部に位置するユーザ4は、第1の表示部22を装着することにより、サーバ10から伝送される自由視点のコンテンツを第1の表示部22を介して視聴することができる。これにより、ユーザ4は、あたかも部屋2の内部に実際に位置するような体験をすることができる。
なお、第1の表示部22は、非透過型のHMDである例に限定されない。例えば、第1の表示部22は、例えば透過型のHMDやAR(Augumented Reality)グラスなどの透過型の眼鏡型デバイス、テレビジョン受信機、または、3Dテレビジョン受信機などであってもよい。または、第1の表示部22は、3Dプロジェクタであり、そして、当該3Dプロジェクタにより例えば壁やスクリーンなどに対して映像が投影されてもよい。なお、以下では、第1の表示部22が非透過型のHMDである例を中心として説明を行う。
{1−1−4.第2の表示部24}
第2の表示部24は、部屋2の中に位置する表示装置であり得る。例えば、第2の表示部24は、プロジェクタ、または、3Dプロジェクタであり得る。この場合、第2の表示部24は、図1に示すように、部屋2の中(例えば壁やスクリーン)において映像を投影し得る。または、第2の表示部24は、例えばHMDやARグラスなどの眼鏡型デバイスであり、かつ、権限者6に装着され得る。
{1−1−5.通信網26}
通信網26は、通信網26に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網26は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網26は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
{1−1−6.課題の整理}
以上、第1の実施形態による情報処理システムの構成について説明した。ところで、権限者6が、部屋2の中の特定の物体や特定の空間を(部屋2の外部の)ユーザ4に見られることを望まない場面も想定される。しかしながら、自由視点のコンテンツでは、特に制限が施されない場合には視点の位置や方向が自由に変更可能であるので、当該コンテンツを閲覧するユーザは、部屋2の内部を自由に、かつ、詳細に閲覧することが可能になってしまう。このため、権限者6のプライバシーが保護されないという問題がある。
そこで、上記事情を一着眼点にして、第1の実施形態によるサーバ10を創作するに至った。第1の実施形態によれば、サーバ10は、部屋2のセンシング結果に基いて生成される自由視点のコンテンツのうち、部屋2の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限することが可能である。これにより、ユーザ4による当該コンテンツの視聴を可能としながら、権限者6のプライバシーを適切に保護することが可能である。
<1−2.構成>
次に、第1の実施形態によるサーバ10の構成について詳細に説明する。図2は、第1の実施形態によるサーバ10の構成例を示した機能ブロック図である。図2に示すように、サーバ10は、制御部100、通信部120、および、記憶部122を有する。
{1−2−1.制御部100}
制御部100は、サーバ10に内蔵される、後述するCPU(Central Processing Unit)150や、RAM(Random Access Memory)154などのハードウェアを用いて、サーバ10の動作を統括的に制御する。また、図2に示すように、制御部100は、検出結果取得部102、コンテンツ生成部104、制限対象設定部106、視聴制限部108、表示制御部110、および、監視状態判定部112を有する。
{1−2−2.検出結果取得部102}
検出結果取得部102は、複数のセンサ部20によりセンシングされたセンシング結果を取得する。例えば、検出結果取得部102は、個々のセンサ部20(デプスセンサなど)により検出された、当該センサ部20の前方に位置する物体までの距離情報や、個々のセンサ部20(イメージセンサなど)により撮影された撮影画像を、センサデータとして受信または読出し処理などを行うことにより取得する。
{1−2−3.コンテンツ生成部104}
コンテンツ生成部104は、検出結果取得部102により取得された、複数のセンサ部20により取得されたセンシングデータに基づいて、自由視点のコンテンツを生成する。例えば、コンテンツ生成部104は、まず、検出結果取得部102により取得された、個々のセンサ部20の前方に位置する各物体までの距離情報に基づいて、部屋2の略全体の三次元空間情報としてポイントクラウドを生成する。そして、コンテンツ生成部104は、生成したポイントクラウドに基づいて、部屋2に関する自由視点のコンテンツを生成する。
例えば、複数のセンサ部20により撮影された一以上の二次元画像の画像認識の結果に基いて、部屋2内の各物体が特定され得る。そして、コンテンツ生成部104は、当該一以上の二次元画像と、生成されたポイントクラウドデータとに基いて、当該各物体の三次元情報を特定することにより、当該自由視点のコンテンツを生成し得る。
{1−2−4.制限対象設定部106}
制限対象設定部106は、部屋2の中に位置する複数の物体の中から制限対象の物体を設定したり、また、部屋2の内部において制限対象の空間を設定する。詳細については後述するが、コンテンツ生成部104により生成された自由視点のコンテンツに関して、設定された制限対象の物体および制限対象の空間に対応する部分は、視聴制限部108によりユーザ4の視聴が制限され得る。なお、制限対象の空間内に位置する各物体に対応する、当該コンテンツの部分に関してもユーザ4の視聴が制限され得る。
(1−2−4−1.仮想物に対するポインティング)
例えば、制限対象設定部106は、仮想物に対する権限者6の指示に基づいて、制限対象の物体、および/または、制限対象の空間を設定する。一例として、制限対象設定部106は、部屋2のレイアウトを示す所定の操作画面に対するユーザの入力に基づいて、制限対象の物体または制限対象の空間を設定する。ここで、当該操作画面は、部屋2の中に位置する複数の物体の各々をユーザが選択可能に表示し得る。例えば、当該操作画面においてユーザにより物体が選択され、かつ、該当の物体が制限対象であるか否かが入力された場合には、制限対象設定部106は、該当の物体を制限対象の物体、もしくは、制限対象外の物体に設定する。また、当該操作画面は、部屋2の内部の範囲をユーザが指定可能に表示し得る。例えば、当該操作画面においてユーザにより範囲が指定され、かつ、該当の範囲が制限対象であるか否かが入力された場合には、制限対象設定部106は、該当の範囲に対応する空間を制限対象の空間、もしくは、制限対象外の空間に設定する。なお、権限者6が使用する所定の端末(例えば、汎用PC(Personal Computer)やタブレット端末など)が有するディスプレイまたは当該所定の端末に接続された表示装置(例えば、液晶ディスプレイ(LCD:Light Emitting Diode)やOLED(Organic Light Emitting Diode)など)により、当該操作画面は表示され得る。または、当該操作画面は、第2の表示部24により表示されてもよい。
図3は、操作画面の一例(操作画面40)を示した説明図である。図3に示したように、操作画面40には、部屋2のレイアウト400が表示される。なお、図3では、レイアウト400が、部屋2の中に位置する各物体の三次元情報から構成された3D映像(ポイントクラウドなど)である例を示しているが、かかる例に限定されない。例えばレイアウト400は、部屋2内の個々の物体の位置関係を示す、部屋2の間取り図や、2Dの撮影画像であってもよい。
また、図3に示したように、操作画面40は、制限範囲の設定ボタン410a、非制限範囲の設定ボタン410b、制限物の設定ボタン410c、および、非制限物の設定ボタン410dを含む。ここで、制限範囲の設定ボタン410aは、部屋2における制限対象の空間を設定するためのボタンである。また、非制限範囲の設定ボタン410bは、部屋2における制限対象外の空間を設定するためのボタンである。また、制限物の設定ボタン410cは、例えば部屋2に配置されている複数の物体の中から、制限対象の物体を設定するためのボタンである。また、非制限物の設定ボタン410dは、例えば部屋2に配置されている複数の物体の中から、制限対象外の物体を設定するためのボタンである。なお、図3では、制限範囲の設定ボタン410aが選択された状態を示している。この状態で、かつ、図3に示したように、部屋2のレイアウト400において例えばドラッグ操作などにより範囲が指定されると、制限対象設定部106は、指定された範囲402に対応する空間(図3に示した例ではベッドエリア)を制限対象の空間として新たに設定する。
また、制限物の設定ボタン410cが選択された状態で、部屋2のレイアウト400に表示されているいずれかの物体がユーザにより選択されると、制限対象設定部106は、選択された物体を制限対象の物体として新たに設定する。なお、制限対象の物体および制限対象の空間が新たに設定された際には、当該操作画面(レイアウト400など)において該当の物体または該当の空間が例えばグレーアウトされるなど、表示態様が変更されてもよい。これにより、設定済みの制限対象の物体および制限対象の空間を明示することができる。
‐変形例
なお、変形例として、当該操作画面において制限物リストが配置され、かつ、当該制限物リストに対する操作により、制限対象の物体が新たに設定されてもよい。例えば、レイアウト400に表示されている複数の物体のうちいずれかがドラッグ&ドロップにより当該制限物リストへ移動されると、制限対象設定部106は、該当の物体を制限対象の物体として新たに設定してもよい。
また、別の変形例として、制限対象設定部106は、ユーザによる当該操作画面における所定のUI(例えばひも型のUIなど)を用いた操作と音声認識とに基づいて、制限対象の物体または制限対象の空間を設定することも可能である。例えば、当該操作画面において、ひものUIの操作により範囲が指定され、かつ、所定の音声コマンド(例えば「NG!」や「OK!」など)が認識された場合には、制限対象設定部106は、指定された範囲に対応する空間を制限対象の空間(あるいは、制限対象外の空間)として新たに設定してもよい。または、この場合、制限対象設定部106は、指定された範囲に対応する空間内に位置する物体を制限対象の物体(あるいは、制限対象外の物体)として新たに設定してもよい。
また、別の変形例として、権限者6は、(コンテンツを視聴する)ユーザ4ごとに、制限対象の物体および制限対象の空間をそれぞれ指定可能であってもよい。
(1−2−4−2.実物体に対するポインティング)
‐ジェスチャによる設定
また、制限対象設定部106は、実物体に対するユーザの指示に基づいて、制限対象の物体、および/または、制限対象の空間を設定することが可能である。例えば、制限対象設定部106は、実物体に対するユーザのジェスチャ(例えば視線、指差し、またはタッチなど)の検出に基づいて、制限対象の物体、および/または、制限対象の空間を設定する。一例として、部屋2において、ある物体をユーザが触っていたり、または指差ししていることが検出され、かつ、ジェスチャに基づく物体指定のための音声コマンド(例えば「これは表示不可!」や「これは表示可!」など)が認識された場合には、制限対象設定部106は、該当の物体を制限対象の物体(あるいは、制限対象外の物体)として新たに設定してもよい。また、部屋2において、手(または指)で円を描くようなジェスチャが検出され、かつ、ジェスチャに基づく範囲指定のための音声コマンド(例えば「この範囲は表示不可!」や「この範囲は表示可!」など)が認識された場合には、制限対象設定部106は、当該ジェスチャで指定された範囲に対応する、部屋2の中の空間を制限対象の空間(あるいは、制限対象外の空間)として新たに設定してもよい。
また、ユーザの視線方向が検出されている間において、視線に基づく物体指定のための音声コマンド(例えば「これは表示不可!」や「これは表示可!」など)が認識された場合には、制限対象設定部106は、部屋2において、当該認識時に検出された視線方向に位置する物体を制限対象の物体(あるいは、制限対象外の物体)として新たに設定してもよい。
‐移動による設定
また、制限対象設定部106は、部屋2の中でのユーザの移動の検出と音声認識とに基づいて、制限対象の物体、および/または、制限対象の空間を設定することが可能である。例えば、移動に基づく範囲指定のための音声コマンド(例えば「これから歩く範囲は表示不可!」や「これから歩く範囲は表示可!」など)が認識された場合には、制限対象設定部106は、当該認識後に、部屋2においてユーザが移動したと認識される領域に対応する空間を制限対象の空間(あるいは、制限対象外の空間)として新たに設定してもよい。また、この場合、制限対象設定部106は、当該認識後に、部屋2においてユーザが移動したと認識される領域に対応する空間内に位置する一以上の物体をそれぞれ制限対象の物体(あるいは、制限対象外の物体)として新たに設定してもよい。
ここで、図4を参照して、上記の設定例についてさらに詳細に説明する。図4のAに示したように、まず、移動に基づく範囲指定を開始するための音声コマンド(例えば「これから歩く範囲は表示不可!」など)をユーザ4が発話し、そして、部屋2の中を移動したとする。その後、図4のBに示したように、移動に基づく範囲指定を終了するための音声コマンド(例えば「設定終了!」など)をユーザ4が発話したとする。この場合、図4のCに示したように、制限対象設定部106は、部屋2の中でユーザが移動したと認識される範囲に対応する空間42を制限対象の空間として設定する。さらに、制限対象設定部106は、空間42内に位置するテーブル30cを制限対象の物体として設定してもよい。
‐物体の配置による設定
また、制限対象設定部106は、部屋2の中に配置される複数の所定の物体の位置の認識結果に基づいて、制限対象の物体、および/または、制限対象の空間を設定することが可能である。例えば、制限対象設定部106は、部屋2の中に配置された三個以上の所定の物体で囲まれた範囲に対応する空間を制限対象の空間(あるいは、制限対象外の空間)として新たに設定してもよい。また、この場合、制限対象設定部106は、当該三個以上の所定の物体で囲まれた範囲に対応する空間内に位置する一以上の物体をそれぞれ制限対象の物体(あるいは、制限対象外の物体)として新たに設定してもよい。
(1−2−4−3.自動設定)
また、制限対象設定部106は、検出結果取得部102により取得された検出結果に基いて、制限対象の物体、および/または、制限対象の空間を自動的に設定することも可能である。例えば、所定の属性に合致する物体が部屋2の中に存在することが検出された場合には、制限対象設定部106は、当該物体を制限対象の物体として設定する。一例として、制限対象設定部106は、手紙や衣服など、プライベートの程度が相対的に高い物体を制限対象の物体として設定してもよい。また、制限対象設定部106は、例えば、検出結果取得部102により取得された撮影画像の解析結果などに基いて、(部屋2の中に位置する)汚れていると認識された物体を制限対象の物体として設定してもよい。
また、所定の属性に合致する空間が部屋2の中に存在することが検出された場合には、制限対象設定部106は、当該空間を制限対象の空間として設定することが可能である。一例として、制限対象設定部106は、例えば台所、寝室、トイレなど、プライベートの程度が相対的に高い空間を制限対象の空間として設定してもよい。また、制限対象設定部106は、ユーザの平均滞在時間が所定の閾値よりも小さい空間(例えばトイレなど)を制限対象の空間として設定してもよい。また、制限対象設定部106は、ユーザの訪問頻度が所定の閾値よりも小さい空間(例えば寝室など)を制限対象の空間として設定してもよい。
{1−2−5.視聴制限部108}
視聴制限部108は、コンテンツ生成部104により生成されたコンテンツのうち、部屋2の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する。例えば、所定の条件が成立する場合には、視聴制限部108は、当該一部のコンテンツの視聴を制限する。また、所定の条件が成立しない場合には、視聴制限部108は、当該コンテンツの視聴を制限しない。
ここで、部屋2の一部の空間は、部屋2のうち所定の条件を満たす空間であり得る。また、当該所定の条件を満たす空間は、制限対象設定部106により設定された制限対象の物体を含む空間、および、制限対象の空間を含み得る。
(1−2−5−1.視点の移動の制限)
以下では、視聴制限部108による当該コンテンツの視聴の制限例についてより詳細に説明する。例えば、視聴制限部108は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分における視点の移動を制限する。一例として、視聴制限部108は、制限対象の空間の内部に対応する、当該コンテンツの部分への視点の移動を許可しない。また、視聴制限部108は、制限対象の空間の外部に対応する、当該コンテンツの部分における視点の移動を許可する。
(1−2−5−2.表示の制限)
また、視聴制限部108は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分の視認性を低下させるように、当該コンテンツの表示を制御することが可能である。例えば、視聴制限部108は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分に関して、詳細を閲覧不能にするような画像処理を行う。一例として、視聴制限部108は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分を例えば黒色などの所定の色で塗りつぶす処理を行ってもよい。例えば、ベッド30aが制限対象の物体に設定されている場合には、図5に示したように、視聴制限部108は、部屋2の中のベッド30aに対応する、当該コンテンツ50の部分を黒色などの所定の色で塗りつぶす。
または、視聴制限部108は、当該コンテンツの部分に対してモザイク処理を行ってもよいし、または、当該部分に対してぼかす処理を行ってもよい。または、視聴制限部108は、制限対象の物体(および、制限対象の空間内に位置する各物体)をそれぞれワイヤフレームで表示させてもよいし、または、各物体をそれぞれ、例えば直方体など別のオブジェクトに置き換えてもよい。これらの制限例によれば、部屋2の中の制限対象の物体および制限対象の空間に関して存在することは、(当該コンテンツを視聴する)ユーザ4が確認可能であるが、詳細を閲覧できないように制限することができる。
または、視聴制限部108は、当該コンテンツの部分に対して透過度を上げる処理を行ってもよい。例えば、視聴制限部108は、当該コンテンツの部分の透過度を100%にしてもよい(つまり完全に透明にしてもよい)。
また、視聴制限部108は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分をくりぬく処理を行ってもよい(つまり、当該コンテンツの部分を非表示にしてもよい)。なお、変形例として、視聴制限部108は、汚れていると認識された物体に関しては、当該汚れを除去する画像処理を行ってもよい。
(1−2−5−3.動的な制限)
‐関係性
また、視聴制限部108は、当該コンテンツにおいて視聴が制限される部分を所定の条件に基いて動的に変更することも可能である。ここで、所定の条件は、コンテンツを視聴するユーザ4と権限者6との関係性(親密度など)を示すデータに関する条件を含み得る。ここで、当該関係性を示すデータは、例えば、所定のSNS(Social Networking Service)におけるユーザ4または権限者6の登録情報から得られるデータや、ユーザ4と権限者6との間での契約の状況を示すデータなどである。
例えば、ユーザ4が権限者6の家族であることが特定される場合には、視聴制限部108は、コンテンツの視聴を制限しなくてもよい(つまり、制限対象の物体および制限対象の空間に対応する部分であっても、コンテンツの視聴が制限されない)。また、ユーザ4が権限者6の友人であることが特定される場合には、視聴制限部108は、制限対象設定部106により設定された制限対象の物体のうちの一部の物体、および、制限対象の空間のうちの一部の空間に対応する、当該コンテンツの部分の視聴を制限しなくてもよい。
また、視聴制限部108は、ユーザ4と権限者6との関係性を示すデータの変化に基づいて、視聴が制限される部分を動的に変更することも可能である。例えば、ユーザ4と権限者6との間の親密度が上がったことが特定された場合(例えば所定のSNSにおいてユーザ4と権限者6との間で新たに友人登録されたことが特定された場合など)には、視聴制限部108は、視聴が制限される物体の数を減らしたり、視聴が制限される空間の範囲を縮小したり、または、部屋2の中で視点を移動可能な範囲を拡大してもよい。また、ユーザ4と権限者6との間でコンテンツの視聴に関する所定の契約が交わされ、かつ、契約済みであることが例えば記憶部122などに登録されている場合には、視聴制限部108は、当該契約の内容に応じて、視聴が制限される物体の数を減らしたり、視聴が制限される空間の範囲を縮小したり、または、部屋2の中で視点を移動可能な範囲を拡大してもよい。
ここで、所定の契約は、例えば、部屋2の中に存在する機器が故障した際などに作業員(ユーザ4)が遠隔地から当該機器を閲覧したり、遠隔操作するための契約であってもよい。または、所定の契約は、例えば権限者6が購入予定の家具や機器などが部屋2内に配置可能であるか否かを店員(ユーザ4)が遠隔地から確認するための契約であってもよい。
‐課金状態
また、所定の条件は、コンテンツを視聴するユーザ4の課金状態、または、ユーザ4の有料会員の登録状況(例えば有料会員であるか否かや、会員のグレードなど)を示すデータに関する条件を含み得る。ここで、ユーザ4の課金状態を示すデータ、または、ユーザ4の有料会員の登録状況を示すデータは、例えば記憶部122に記憶されるなど、サーバ10により管理されてもよいし、または、外部の装置(図示省略)により管理されてもよい。
例えば、視聴制限部108は、ユーザ4が支払っている金額がより大きいことが特定されるほど、コンテンツの視聴時の視点および視界に関する制限を少なくしてもよい。一例として、部屋2が音楽などのイベント会場であり、かつ、ユーザ4が無料会員であることが特定される場合には、視聴制限部108は、舞台の正面が縮小表示された映像のみを視聴可能なように(つまり、舞台の遠方の客席にユーザ4が位置するように)当該コンテンツの視聴を制限する。また、ユーザ4が低額の料金を支払っていることが特定される場合には、視聴制限部108は、舞台が拡大表示されるが、当該舞台の正面のみから映像を視聴可能なように(つまり、舞台の近くの客席にユーザ4が位置するように)当該コンテンツの視聴を制限する。また、ユーザ4が高額の料金を支払っていることが特定される場合には、視聴制限部108は、視点の移動に関して原則制限しなくてもよい。これにより、ユーザ4は、例えば舞台上の人物の側方や背面に視点を移動可能など、舞台上で視点を自由に移動可能となる。
また、舞台上に複数の人物が位置しており、かつ、ユーザ4が低額の料金を支払っていることが特定される場合には、視聴制限部108は、当該複数の人物のうちの一部の人物だけを表示させるように、当該コンテンツの視聴を制限してもよい。また、ユーザ4が高額の料金を支払っていることが特定される場合には、視聴制限部108は、当該複数の人物全員を表示させてもよい。
‐人物の在否
また、所定の条件は、部屋2の中に人物がいることが検出されることを含み得る。例えば、部屋2の中に人物(権限者6など)が一人以上いる場合には、当該人物は、コンテンツを視聴するユーザ4の行動(視点の移動状況)を確認可能であり得る。そこで、部屋2の中に人物が一人以上いることが検出される場合には、視聴制限部108は、部屋2の中で視点を移動可能な範囲を拡大してもよい。また、部屋2の中に人物が一人も存在しないことが検出される場合には、視聴制限部108は、部屋2の中で視点を移動可能な範囲を縮小してもよい。
‐権限者6の指定
また、所定の条件は、当該コンテンツが視聴されている間において、権限者6による、制限対象の物体や制限対象の空間を変更する操作が検出されることを含み得る。例えば、制限対象の物体や制限対象の空間を変更する操作が検出される度に、視聴制限部108は、視聴が制限される物体や空間を、検出された操作に応じて逐次変更してもよい。
一例として、部屋2の中のある地点が権限者6により指定され、かつ、制限範囲の指定のための音声コマンド(例えば「ここから先は表示不可!」など)が認識された場合には、視聴制限部108は、部屋2における、指定された地点から奥の空間に対応する、コンテンツの部分全てに対してぼかす処理を行ってもよいし、または、当該コンテンツの部分へのユーザ4の視点の移動を禁止(制限)してもよい。または、この場合、視聴制限部108は、指定された地点から奥の空間内に位置する、特定の物体(例えば人など)以外の全ての物体を非表示にするようにコンテンツの表示を制御してもよい(つまり、特定の物体のみを表示させてもよい)。
‐監視
また、所定の条件は、後述する監視状態判定部112により部屋2が監視されていると判定されることを含み得る。例えば、部屋2が監視されていると監視状態判定部112により判定された場合には、視聴制限部108は、視聴が制限される空間の範囲を縮小してもよい。また、部屋2が監視されていないと監視状態判定部112により判定された場合には、視聴制限部108は、視聴が制限される空間の範囲を拡大または維持してもよい。
‐特定の物体
また、所定の条件は、特定の物体(例えば、ペットや子どもなど)が部屋2の中に存在すると検出されることを含み得る。例えば、特定の物体が部屋2の中に存在すると検出された場合には、視聴制限部108は、部屋2全体が視聴不可能なように、当該コンテンツの視聴を制限してもよい。なお、特定の物体は、権限者6が指定可能であってもよいし、または、システム管理者が予め設定してもよい。
{1−2−6.表示制御部110}
表示制御部110は、視聴制限部108による処理後の自由視点のコンテンツを第1の表示部22に表示させる。また、表示制御部110は、(部屋2の中に位置する)第2の表示部24に対する表示を制御する。
(1−2−6−1.制限対象の物体・制限対象の空間の表示)
なお、例えば、コンテンツ生成部104により生成されたコンテンツを視聴中のユーザ4と権限者6とが例えば電話などを用いてリアルタイムにコミュニケーションを行っている場面において、仮に、視聴が制限されている物体を権限者6が話題にすると、ユーザ4と権限者6との間で話が噛合わなくなってしまうことが想定される。そこで、表示制御部110は、現在視聴が制限されている、コンテンツの部分を示す情報を(部屋2の中に位置する)第2の表示部24に表示させることが望ましい。例えば、表示制御部110は、当該コンテンツにおいて視聴が制限されている部分に対応する、部屋2の中の物体および空間の周囲に例えば所定の色の線を第2の表示部24に表示させてもよいし、または、当該物体および空間の位置(または近傍)に所定のアイコンを第2の表示部24に表示させてもよい。
図6は、部屋2の中に配置されているベッド30aが制限対象の物体として設定されている際における、第2の表示部24による表示例を示した説明図である。図6に示したように、例えば、表示制御部110は、ベッド30aの周囲に対応する表示位置に所定の色の線520を第2の表示部24に表示させる。
これらの表示例によれば、当該コンテンツを視聴するユーザ4に関して現在視聴が制限されている部分を、部屋2の中にいる権限者6はリアルタイムに知ることができる。従って、権限者6は、当該物体を話題にしないように判断することができるので、権限者6とユーザ4との間でのコミュニケーションの不全を防止することができる。
‐変形例
なお、部屋2の外部に位置する複数のユーザが当該コンテンツを同時に視聴している場合には、表示制御部110は、当該複数のユーザの各々に関して、視聴が制限されている部分を示す情報を当該ユーザと関連付けて第2の表示部24に表示させることも可能である。例えば、表示制御部110は、ユーザごとに、当該ユーザに関して視聴が制限されている部分に対応する部屋2の中の物体および空間の周囲に、当該ユーザに予め関連付けられている色の線を第2の表示部24に表示させてもよい。または、表示制御部110は、ユーザごとに、当該ユーザに関して視聴が制限されている部分に対応する部屋2の中の物体および空間の位置(または近傍)に、当該ユーザに関連付けられている種類のアイコンを表示させてもよいし、または、当該ユーザの識別情報を表示させてもよい。
この表示例によれば、ユーザ4aおよびユーザ4bが同じコンテンツを視聴している場面において、部屋2の中のある物体をユーザ4aは視聴可能であるが、ユーザ4bは視聴が制限されていることを権限者6に知らせることができる。
(1−2−6−2.視聴するユーザの表示)
また、表示制御部110は、例えば図7のBに示したように、当該コンテンツを視聴しているユーザの映像32を、(部屋2の中に位置する)第2の表示部24に表示させることも可能である。なお、この際、表示制御部110は、例えばユーザ4が装着する第1の表示部22などにより検出される、当該コンテンツにおいてユーザ4が見ている方向に応じて、ユーザの映像32の向きを調整してもよい。
なお、変形例として、視聴制限部108は、ユーザの映像32のうちの目の部分を権限者6が手で隠す動作の検出に基づいて、(該当のユーザ4による)コンテンツの視聴を制限してもよい。例えば、当該動作が検出された場合には、視聴制限部108は、コンテンツの視聴自体を禁止(全て非表示にするなど)してもよいし、または、該当のユーザの視線方向に位置する物体および空間に対応する、当該コンテンツの部分を非表示にしてもよい。
{1−2−7.監視状態判定部112}
監視状態判定部112は、権限者6により部屋2が監視されている否かを所定の判定基準に基いて判定する。例えば、部屋2の中または部屋2の近傍に権限者6が位置することが検出される場合には、監視状態判定部112は、部屋2が監視されていると判定する。なお、権限者6が携帯する端末内のGPS(Global Positioning System)受信機の測定結果やセンサ部20による撮影画像などをサーバ10が受信することにより、監視状態判定部112は、権限者6が部屋2の中(または部屋2の近傍)に位置するか否かを判定することが可能である。
また、一以上のセンサ部20、または、部屋2の中に配置された他のカメラ(図示せず)により撮影された映像を、権限者6が使用する所定の端末が表示している場合には、監視状態判定部112は、当該所定の端末が権限者6の視界内または視界の近傍に位置するか否かに基づいて、部屋2が監視されているか否かを判定する。例えば、当該所定の端末が権限者6の視界内または視界の近傍に位置する場合には、監視状態判定部112は、部屋2が監視されていると判定する。また、当該所定の端末が権限者6の視界外に位置する場合には、監視状態判定部112は、部屋2が監視されていないと判定する。なお、当該所定の端末に設置されているインカメラにより撮影された映像をサーバ10が受信することにより、監視状態判定部112は、当該所定の端末が権限者6の視界内または視界の近傍に位置するか否かを判定することが可能である。
また、監視状態判定部112は、一以上のセンサ部20、または、部屋2の中に配置された他のカメラに対する当該所定の端末のアクセス状況に基づいて、部屋2が監視されている否かを判定することも可能である。例えば、これらのカメラのうちの少なくともいずれかに対して当該所定の端末がアクセスしていることが検出された場合には、監視状態判定部112は、部屋2が監視されていると判定する。
{1−2−8.通信部120}
通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、表示制御部110の制御に従って、視聴制限部108による処理後の自由視点のコンテンツを第1の表示部22へ送信する。また、通信部120は、複数のセンサ部20の各々によりセンシングされたセンシングデータを当該複数のセンサ部20から受信する。
{1−2−9.記憶部122}
記憶部122は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部122は、制限対象設定部106により設定された、制限対象の物体および制限対象の空間の情報を記憶する。
<1−3.処理の流れ>
以上、第1の実施形態による構成について説明した。次に、第1の実施形態による処理の流れの一例について、「1−3−1.制限対象の物体・制限対象の空間の設定時の処理の流れ」〜「1−3−2.コンテンツの表示時の処理の流れ」において説明する。なお、「制限対象の物体・制限対象の空間の設定時の処理の流れ」と「コンテンツの表示時の処理の流れ」とは並行して実行され得る。
{1−3−1.制限対象の物体・制限対象の空間の設定時の処理の流れ}
まず、「制限対象の物体・制限対象の空間の設定時の処理の流れ」について、図8を参照して説明する。図8に示したように、まず、権限者6は、汎用PCなどの端末を操作して、設定ツールを起動する。そして、権限者6が、設定ツールにおいて、制限対象の空間の設定を選択した場合には(S101:Yes)、次に、権限者6は、制限対象に設定することを希望する、部屋2の中の空間を指定する(S103)。
その後、当該端末は、S103で指定された空間の情報をサーバ10へ送信する。次に、サーバ10の制限対象設定部106は、受信された情報が示す空間を制限対象の空間に設定する。そして、制限対象設定部106は、設定した情報を記憶部122に追加登録する(S105)。その後、S113の処理が実行される。
一方、S101において、権限者6が、制限対象の物体の設定を選択した場合には(S101:No、S107:Yes)、次に、権限者6は、制限対象に設定することを希望する物体を指定する(S109)。
そして、当該端末は、S109で指定された物体の情報をサーバ10へ送信する。次に、サーバ10の制限対象設定部106は、受信された情報が示す物体を制限対象の物体に設定する。そして、制限対象設定部106は、設定した情報を記憶部122に追加登録する(S111)。
その後、設定ツールの終了が入力された場合には(S113:Yes)、本処理は終了する。一方、設定ツールの終了が入力されていない場合には(S113:No)、再びS101以降の処理が実行される。
また、S107において、権限者6が、制限対象の物体の設定を選択しなかった場合には(S107:No)、再びS101の処理が実行される。
{1−3−2.コンテンツの表示時の処理の流れ}
次に、「コンテンツの表示時の処理の流れ」について、図9を参照して説明する。図9に示したように、まず、サーバ10は、複数のセンサ部20の各々によりセンシングされた部屋2のセンシングデータを複数のセンサ部20から受信する(S201)。
続いて、コンテンツ生成部104は、受信されたセンシングデータに基づいて、部屋2に関する自由視点のコンテンツを生成する(S203)。
その後、視聴制限部108は、制限対象の空間が設定されているか否かを確認する(S205)。制限対象の空間が全く設定されていない場合には(S205:No)、視聴制限部108は、後述するS209の処理を行う。
一方、制限対象の空間が設定されている場合には(S205:Yes)、視聴制限部108は、設定済みの全ての制限対象の空間の各々に対応する、S203で生成されたコンテンツの部分を例えば黒色などの所定の色で塗りつぶす(S207)。
その後、視聴制限部108は、制限対象の物体が設定されているか否かを確認する(S209)。制限対象の物体が全く設定されていない場合には(S209:No)、視聴制限部108は、後述するS213の処理を行う。
一方、制限対象の物体が設定されている場合には(S209:Yes)、視聴制限部108は、設定済みの全ての制限対象の物体の各々に対応する、S207で処理後のコンテンツもしくはS203で生成されたコンテンツの部分を例えば黒色などの所定の色で塗りつぶす(S211)。
その後、通信部120は、表示制御部110の制御に従って、該当のコンテンツを第1の表示部22へ送信する。そして、第1の表示部22は、受信したコンテンツを表示する(S213)。
<1−4.効果>
以上説明したように、第1の実施形態によれば、サーバ10は、部屋2のセンシング結果に基づいて自由視点のコンテンツを生成し、そして、当該自由視点のコンテンツのうち、部屋2の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する。これにより、当該コンテンツの視聴を適切に制限することができる。
例えば、サーバ10は、当該自由視点のコンテンツのうち、設定された制限対象の物体および制限対象の空間に対応する、一部のコンテンツにおける視点の移動を制限したり、または、当該一部のコンテンツの視認性を低下させるように当該コンテンツの表示を制御する。このため、例えば、部屋2の中に位置する物体や空間のうち、外部のユーザ4に閲覧されることを望まない物体や空間を制限対象の物体および制限対象の空間として権限者6は予め指定しておくことにより、当該コンテンツにおける該当の部分の視聴を制限することができる。従って、外部のユーザ4による当該自由視点のコンテンツの視聴を一部可能としつつ、権限者6のプライバシーを適切に保護することができる。
<<2.第2の実施形態>>
<2−1.情報処理システムの構成>
以上、第1の実施形態について説明した。次に、第2の実施形態について説明する。図10は、第2の実施形態による情報処理システムの構成例を示した説明図である。図10に示すように、第2の実施形態では、複数の部屋2の中にそれぞれ複数のセンサ部20が配置されており、かつ、当該複数の部屋2の各々の中にそれぞれユーザ6が位置する場面を想定する。ここで、部屋2a内のユーザ6aは、例えば部屋2aの管理権限を有するユーザであり、また、部屋2b内のユーザ6bは、部屋2bの管理権限を有するユーザであり得る。
第2の実施形態によるサーバ10は、図11に示したように、部屋2a内に配置されている複数のセンサ部20により取得された部屋2aの略全体の三次元情報62aと、部屋2b内に配置されている複数のセンサ部20により取得された部屋2bの略全体の三次元情報62bとを合成することにより、仮想的な共有空間60を生成することが可能である。さらに、サーバ10は、生成した共有空間60に基いて、共有空間60に関する自由視点のコンテンツを生成し、そして、図12に示したように、当該コンテンツをユーザ6aが閲覧する第1の表示部22a、および、ユーザ6bが閲覧する第1の表示部22bへそれぞれ伝送することが可能である。これにより、複数の部屋2の各々に位置するユーザ6は、伝送されたコンテンツを視聴することにより、あたかも共有空間60の内部に位置するような体験をすることができる。
後述するように、第2の実施形態によるサーバ10は、生成された共有空間に関する自由視点のコンテンツの視聴を、当該コンテンツを視聴するユーザ6ごとに、当該ユーザ6が位置する部屋2に応じて制限することが可能である。例えば、サーバ10は、共有空間60内に配置された部屋2b内の一部の物体に関して、部屋2a内のユーザ6aによる視聴を制限し、かつ、共有空間60内に配置された部屋2a内の一部の物体に関して、部屋2b内のユーザ6bによる視聴を制限することができる。
<2−2.構成>
次に、第2の実施形態による構成について詳細に説明する。第2の実施形態によるサーバ10に含まれる構成要素は、第1の実施形態と同様である。以下では、第1の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。
{2−2−1.コンテンツ生成部104}
第2の実施形態によるコンテンツ生成部104は、部屋2a内に配置されている複数のセンサ部20により取得された部屋2aの略全体の三次元情報と、部屋2bに配置されている複数のセンサ部20により取得された部屋2bの略全体の三次元情報とを合成することにより、仮想的な共有空間を生成する。
また、コンテンツ生成部104は、生成した共有空間に基いて、当該共有空間に関する自由視点のコンテンツを生成する。なお、コンテンツ生成部104は、ユーザ6ごとに、当該ユーザ6が閲覧する第1の表示部22が非透過型の眼鏡型デバイスであるか否かに基いて、当該共有空間に関する自由視点のコンテンツを生成してもよい。例えば、部屋2a内のユーザ6aが閲覧する第1の表示部22aが非透過型の眼鏡型デバイスではない場合(例えば3Dプロジェクタや透過型の眼鏡型デバイスなどである場合)には、コンテンツ生成部104は、生成した共有空間に基づいて、他の部屋2b内に位置する物体の映像52bのみを含む、自由視点のコンテンツを当該ユーザ6aのために生成してもよい。
{2−2−2.視聴制限部108}
第2の実施形態による視聴制限部108は、コンテンツ生成部104により生成されたコンテンツの視聴を、当該コンテンツを視聴するユーザ6が位置する部屋2に応じて制限する。例えば、部屋2b内の物体のうち制限対象の物体として設定されている物体に対応する、当該コンテンツの部分に関しては、視聴制限部108は、部屋2aに位置するユーザ6aによる視聴を制限する。なお、具体的な制限内容に関しては、第1の実施形態と概略同様である。また、個々の部屋2における制限対象の物体(および制限対象の空間)の設定方法に関しても第1の実施形態と概略同様である。
{2−2−3.表示制御部110}
第2の実施形態による表示制御部110は、ユーザ6ごとに、当該ユーザ6に対して視聴が制限された自由視点のコンテンツを、当該ユーザ6が閲覧する第1の表示部22に表示させる。
<2−3.効果>
以上説明したように、第2の実施形態によれば、サーバ10は、部屋2aのセンシング結果と、部屋2bのセンシング結果とに基づいて共有空間を生成し、そして、当該共有空間に関する自由視点のコンテンツの視聴を、当該コンテンツを視聴するユーザ6ごとに、当該ユーザ6が位置する部屋2に応じて制限する。例えば、部屋2a内に位置するユーザ6aは、部屋2a内に位置する物体のうち、他の部屋2b内に位置するユーザ6bに閲覧されることを望まない物体を制限対象の物体として予め指定しておくことにより、当該物体に対応する、当該自由視点のコンテンツの部分の、ユーザ6bによる視聴を制限することができる。
また、第2の実施形態によれば、個々のユーザは別々の部屋にいながら、あたかも他のユーザと同じ部屋(共有空間)の中に位置するような体験をすることができる。例えば、個々のユーザは、自己のプライバシーが適切に保護されながら、他の部屋2内のユーザと共有空間上で一緒に活動を行うことができ、楽しむことができる。一例として、個々のユーザは、当該ユーザの部屋の中に実際に存在する物体を用いて、他の部屋2内のユーザとコミュニケーションを行うことができる。
<<3.ハードウェア構成>>
次に、各実施形態に共通するサーバ10のハードウェア構成について、図13を参照して説明する。図13に示すように、サーバ10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ10内の動作全般を制御する。また、CPU150は、サーバ10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムなどを一時的に記憶する。
バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、およびRAM154を相互に接続する。
インターフェース158は、ストレージ装置160、および通信装置162を、バス156と接続する。
ストレージ装置160は、記憶部122として機能する、データ格納用の装置である。ストレージ装置160は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置162は、例えば通信網26などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置162は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置162は、通信部120として機能する。
<<4.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した各実施形態による情報処理システムの構成は、図1または図10に示した例に限定されない。例えば、図1および図10では、サーバ10が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、各実施形態によるサーバ10の機能が実現されてもよい。
また、上述した各実施形態では、本開示における情報処理装置がサーバ10である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、汎用PC、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、ロボット、プロジェクタ、または、例えばHMDやARグラスなどのウェアラブルデバイスであってもよい。
また、上述した各実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、上述した各実施形態によれば、CPU150、ROM152、およびRAM154などのハードウェアを、上述した各実施形態によるサーバ10の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
を備える、情報処理装置。
(2)
前記視聴制限部は、前記一部のコンテンツにおける視点の移動を制限する、前記(1)に記載の情報処理装置。
(3)
前記視聴制限部は、前記一部のコンテンツの視認性を低下させるように前記一部のコンテンツの表示を制御する、前記(1)に記載の情報処理装置。
(4)
前記視聴制限部は、前記一部のコンテンツの表示色を所定の色に変更する処理、前記一部のコンテンツの透過度を上げる処理、または、前記一部のコンテンツをぼかす処理を行う、前記(3)に記載の情報処理装置。
(5)
前記実空間の一部の空間は、前記実空間のうち前記所定の条件を満たす空間である、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記所定の条件を満たす空間は、制限対象の物体を含む空間、および/または、制限対象の空間である、前記(5)に記載の情報処理装置。
(7)
前記視聴制限部は、前記一部のコンテンツの内部への視点の移動を許可しない、前記(6)に記載の情報処理装置。
(8)
前記制限対象の物体および/または前記制限対象の空間は、前記実空間のレイアウトを示す操作画面に対するユーザの入力に基づいて設定される、前記(6)または(7)に記載の情報処理装置。
(9)
前記制限対象の物体および/または前記制限対象の空間は、前記実空間におけるユーザのポインティング動作の検出に基づいて設定される、前記(6)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記制限対象の空間は、前記実空間においてユーザが移動した領域の検出結果に基づいて設定される、前記(6)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記制限対象の空間は、前記実空間内に配置された複数の所定の物体の位置の検出結果に基づいて設定される、前記(6)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記所定の条件を満たす空間は、所定の属性に合致する物体を含む空間、および/または、所定の属性に合致する空間である、前記(5)に記載の情報処理装置。
(13)
前記所定の属性に合致する空間は、ユーザの平均滞在時間が所定の閾値よりも小さい空間、および/または、ユーザの訪問頻度が所定の閾値よりも小さい空間を含む、前記(12)に記載の情報処理装置。
(14)
前記所定の条件が成立する場合には、前記視聴制限部は、前記一部のコンテンツの視聴を制限する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(15)
前記所定の条件は、前記実空間に関連する第1のユーザと、前記コンテンツを視聴する第2のユーザとの関係性に関する条件を含む、前記(14)に記載の情報処理装置。
(16)
前記所定の条件は、前記コンテンツを視聴するユーザの課金状態または有料会員の登録状況に関する条件を含む、前記(14)または(15)に記載の情報処理装置。
(17)
前記コンテンツは、前記実空間の外部に位置するユーザにより視聴され、
前記情報処理装置は、前記実空間の一部の空間内の物体および/または前記実空間の一部の空間を示す情報を、前記実空間内に位置する表示部に表示させる表示制御部をさらに備える、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記情報処理装置は、前記センシング結果を取得する取得部と、
前記センシング結果に基いて、前記自由視点のコンテンツを生成するコンテンツ生成部と、をさらに備える、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いてプロセッサが制限すること、
を含む、情報処理方法。
(20)
コンピュータを、
実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
として機能させるための、プログラム。
10 サーバ
20 センサ部
22 第1の表示部
24 第2の表示部
26 通信網
100 制御部
102 検出結果取得部
104 コンテンツ生成部
106 制限対象設定部
108 視聴制限部
110 表示制御部
112 監視状態判定部
120 通信部
122 記憶部

Claims (20)

  1. 実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
    を備える、情報処理装置。
  2. 前記視聴制限部は、前記一部のコンテンツにおける視点の移動を制限する、請求項1に記載の情報処理装置。
  3. 前記視聴制限部は、前記一部のコンテンツの視認性を低下させるように前記一部のコンテンツの表示を制御する、請求項1に記載の情報処理装置。
  4. 前記視聴制限部は、前記一部のコンテンツの表示色を所定の色に変更する処理、前記一部のコンテンツの透過度を上げる処理、または、前記一部のコンテンツをぼかす処理を行う、請求項3に記載の情報処理装置。
  5. 前記実空間の一部の空間は、前記実空間のうち前記所定の条件を満たす空間である、請求項1に記載の情報処理装置。
  6. 前記所定の条件を満たす空間は、制限対象の物体を含む空間、および/または、制限対象の空間である、請求項5に記載の情報処理装置。
  7. 前記視聴制限部は、前記一部のコンテンツの内部への視点の移動を許可しない、請求項6に記載の情報処理装置。
  8. 前記制限対象の物体および/または前記制限対象の空間は、前記実空間のレイアウトを示す操作画面に対するユーザの入力に基づいて設定される、請求項6に記載の情報処理装置。
  9. 前記制限対象の物体および/または前記制限対象の空間は、前記実空間におけるユーザのポインティング動作の検出に基づいて設定される、請求項6に記載の情報処理装置。
  10. 前記制限対象の空間は、前記実空間においてユーザが移動した領域の検出結果に基づいて設定される、請求項6に記載の情報処理装置。
  11. 前記制限対象の空間は、前記実空間内に配置された複数の所定の物体の位置の検出結果に基づいて設定される、請求項6に記載の情報処理装置。
  12. 前記所定の条件を満たす空間は、所定の属性に合致する物体を含む空間、および/または、所定の属性に合致する空間である、請求項5に記載の情報処理装置。
  13. 前記所定の属性に合致する空間は、ユーザの平均滞在時間が所定の閾値よりも小さい空間、および/または、ユーザの訪問頻度が所定の閾値よりも小さい空間を含む、請求項12に記載の情報処理装置。
  14. 前記所定の条件が成立する場合には、前記視聴制限部は、前記一部のコンテンツの視聴を制限する、請求項1に記載の情報処理装置。
  15. 前記所定の条件は、前記実空間に関連する第1のユーザと、前記コンテンツを視聴する第2のユーザとの関係性に関する条件を含む、請求項14に記載の情報処理装置。
  16. 前記所定の条件は、前記コンテンツを視聴するユーザの課金状態または有料会員の登録状況に関する条件を含む、請求項14に記載の情報処理装置。
  17. 前記コンテンツは、前記実空間の外部に位置するユーザにより視聴され、
    前記情報処理装置は、前記実空間の一部の空間内の物体および/または前記実空間の一部の空間を示す情報を、前記実空間内に位置する表示部に表示させる表示制御部をさらに備える、請求項1に記載の情報処理装置。
  18. 前記情報処理装置は、前記センシング結果を取得する取得部と、
    前記センシング結果に基いて、前記自由視点のコンテンツを生成するコンテンツ生成部と、をさらに備える、請求項1に記載の情報処理装置。
  19. 実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いてプロセッサが制限すること、
    を含む、情報処理方法。
  20. コンピュータを、
    実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
    として機能させるための、プログラム。
JP2016226210A 2016-11-21 2016-11-21 情報処理装置、情報処理方法、およびプログラム Pending JP2018085571A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016226210A JP2018085571A (ja) 2016-11-21 2016-11-21 情報処理装置、情報処理方法、およびプログラム
US16/343,547 US11212515B2 (en) 2016-11-21 2017-10-27 Information processing device and information processing method
PCT/JP2017/038859 WO2018092545A1 (ja) 2016-11-21 2017-10-27 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016226210A JP2018085571A (ja) 2016-11-21 2016-11-21 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018085571A true JP2018085571A (ja) 2018-05-31

Family

ID=62146381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016226210A Pending JP2018085571A (ja) 2016-11-21 2016-11-21 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11212515B2 (ja)
JP (1) JP2018085571A (ja)
WO (1) WO2018092545A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065114A (ja) * 2018-10-15 2020-04-23 株式会社アルファコード 映像処理装置、映像処理方法、及び映像処理プログラム
JP2021520583A (ja) * 2018-06-06 2021-08-19 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッドKe.Com (Beijing) Technology Co., Ltd. 仮想現実モデル内の穴を埋めるためのシステム及び方法
JP2021520584A (ja) * 2018-06-06 2021-08-19 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッドKe.Com (Beijing) Technology Co., Ltd. 住宅のデータ収集およびモデル生成方法
JP7158781B1 (ja) 2021-11-29 2022-10-24 クラスター株式会社 端末装置、サーバ、仮想現実空間提供システム、プログラムおよび仮想現実空間提供方法
US11521346B2 (en) 2020-08-12 2022-12-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2023145571A1 (ja) * 2022-01-31 2023-08-03 キヤノン株式会社 情報処理装置、情報処理方法、データ構造及びプログラム
US11755105B2 (en) 2018-09-20 2023-09-12 Fujifilm Corporation Information processing apparatus, information processing system, information processing method, and program
JP7458735B2 (ja) 2019-10-01 2024-04-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878177B2 (ja) * 2017-07-04 2021-05-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7045218B2 (ja) * 2018-02-28 2022-03-31 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
JP7254464B2 (ja) * 2018-08-28 2023-04-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004487A (ja) 2003-06-12 2005-01-06 Sony Corp 捕捉パス上で撮影されたサラウンド画像を処理する装置及び方法
JP2005252849A (ja) * 2004-03-05 2005-09-15 Matsushita Electric Ind Co Ltd 監視カメラシステム
JP5159381B2 (ja) * 2008-03-19 2013-03-06 セコム株式会社 画像配信システム
JP5927856B2 (ja) * 2011-11-16 2016-06-01 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2015204512A (ja) 2014-04-14 2015-11-16 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
EP3133819A4 (en) 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system
JP6642432B2 (ja) 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
JP2016122892A (ja) * 2014-12-24 2016-07-07 株式会社日立国際電気 映像装置
US20160189280A1 (en) * 2014-12-31 2016-06-30 Venuenext, Inc. Modifying associations between vendors and regions of a venue
US9691361B2 (en) * 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US9788200B2 (en) * 2016-02-29 2017-10-10 Motorola Solutions, Inc. Mobile communications device with a private zone and a non-private zone and methods of displaying communications in the same
US10306315B2 (en) * 2016-03-29 2019-05-28 International Business Machines Corporation Video streaming augmenting
US20170337352A1 (en) * 2016-05-23 2017-11-23 Daqri, Llc Confidential information occlusion using augmented reality
EP3264801B1 (en) * 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021520583A (ja) * 2018-06-06 2021-08-19 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッドKe.Com (Beijing) Technology Co., Ltd. 仮想現実モデル内の穴を埋めるためのシステム及び方法
JP2021520584A (ja) * 2018-06-06 2021-08-19 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッドKe.Com (Beijing) Technology Co., Ltd. 住宅のデータ収集およびモデル生成方法
US11755105B2 (en) 2018-09-20 2023-09-12 Fujifilm Corporation Information processing apparatus, information processing system, information processing method, and program
JP2020065114A (ja) * 2018-10-15 2020-04-23 株式会社アルファコード 映像処理装置、映像処理方法、及び映像処理プログラム
WO2020080101A1 (ja) * 2018-10-15 2020-04-23 株式会社アルファコード 映像処理装置、映像処理方法、及び映像処理プログラム
JP7458735B2 (ja) 2019-10-01 2024-04-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11521346B2 (en) 2020-08-12 2022-12-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP7158781B1 (ja) 2021-11-29 2022-10-24 クラスター株式会社 端末装置、サーバ、仮想現実空間提供システム、プログラムおよび仮想現実空間提供方法
JP2023079553A (ja) * 2021-11-29 2023-06-08 クラスター株式会社 端末装置、サーバ、仮想現実空間提供システム、プログラムおよび仮想現実空間提供方法
WO2023145571A1 (ja) * 2022-01-31 2023-08-03 キヤノン株式会社 情報処理装置、情報処理方法、データ構造及びプログラム

Also Published As

Publication number Publication date
WO2018092545A1 (ja) 2018-05-24
US20190268587A1 (en) 2019-08-29
US11212515B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
WO2018092545A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10474336B2 (en) Providing a user experience with virtual reality content and user-selected, real world objects
US10606609B2 (en) Context-based discovery of applications
US9978174B2 (en) Remote sensor access and queuing
US10516870B2 (en) Information processing device, information processing method, and program
CN108234918B (zh) 具有隐私意识的室内无人机的勘探和通讯架构方法和系统
US20180321798A1 (en) Information processing apparatus and operation reception method
US20180190022A1 (en) Dynamic depth-based content creation in virtual reality environments
US10600253B2 (en) Information processing apparatus, information processing method, and program
US20150185825A1 (en) Assigning a virtual user interface to a physical object
US11768956B2 (en) Privacy screen
WO2015102904A1 (en) Augmented reality content adapted to space geometry
US10733799B2 (en) Augmented reality sensor
US20230316681A1 (en) Extracting video conference participants to extended reality environment
US10620807B2 (en) Association of objects in a three-dimensional model with time-related metadata
US20160227868A1 (en) Removable face shield for augmented reality device
KR102632270B1 (ko) 전자 장치 및 파노라마 영상 표시와 생성 방법
WO2022197644A1 (en) Mixed reality objects in virtual reality environments
JP2016122443A (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
US10409464B2 (en) Providing a context related view with a wearable apparatus
US20240135650A1 (en) Electronic device and method for displaying modification of virtual object and method thereof
WO2018008208A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20210085929A (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법