JP7371623B2 - 表示制御装置、プログラムおよび表示制御方法 - Google Patents

表示制御装置、プログラムおよび表示制御方法 Download PDF

Info

Publication number
JP7371623B2
JP7371623B2 JP2020521749A JP2020521749A JP7371623B2 JP 7371623 B2 JP7371623 B2 JP 7371623B2 JP 2020521749 A JP2020521749 A JP 2020521749A JP 2020521749 A JP2020521749 A JP 2020521749A JP 7371623 B2 JP7371623 B2 JP 7371623B2
Authority
JP
Japan
Prior art keywords
reliability
display control
area
voxel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020521749A
Other languages
English (en)
Other versions
JPWO2019230169A1 (ja
Inventor
太記 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019230169A1 publication Critical patent/JPWO2019230169A1/ja
Application granted granted Critical
Publication of JP7371623B2 publication Critical patent/JP7371623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、表示制御装置、プログラムおよび表示制御方法に関する。
近年、実空間に仮想オブジェクト表示を重畳する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。例えば、ＡＲ処理を行う情報処理端末は、実空間の３次元データ、仮想オブジェクトに設定された３次元位置、および情報処理端末の３次元位置を認識し、情報処理端末の撮像により得られた実空間画像において仮想オブジェクトに設定された３次元位置に対応する位置を特定し、当該特定した位置に仮想オブジェクト表示を重畳する。これにより、ユーザは、仮想オブジェクトが実空間に存在するかのように感じることができる。このようなＡＲ処理に関しては例えば特許文献１に開示されている。
特開２０１２－２２１２５０号公報
ＡＲ処理においては、仮想オブジェクトの３次元位置が実空間の物体の背後に設定されている場合、情報処理端末は仮想オブジェクト表示を実空間画像に重畳しないことが望ましい。しかし、実空間の３次元データが示す実空間の３次元構造と実際の実空間の３次元構造に差がある場合、仮想オブジェクト表示が誤って重畳される、または、重畳されるべき仮想オブジェクト表示が重畳されず、不自然なＡＲ画像が得られることがある。
この点に関し、特許文献１には、仮想オブジェクト表示が重畳される実物体の位置や姿勢の認識の安定度に応じて仮想オブジェクト表示の態様を変化させる方法が開示されている。
本開示では、実空間の見え方を変化させることで表示の不自然さを低減することが可能な、新規かつ改良された表示制御装置、プログラムおよび表示制御方法を提案する。
本開示によれば、実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、を備える、表示制御装置が提供される。
また、本開示によれば、コンピュータを、実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、として機能させるための、プログラムが提供される。
また、本開示によれば、実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、前記信頼度が基準を満たさない要素データに対応する領域を特定することと、特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、を含む、表示制御方法が提供される。
以上説明したように本開示によれば、実空間の見え方を変化させることで表示の不自然さを低減することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理端末１０の外観を示す説明図である。 ＡＲ処理の具体例を示す説明図である。 情報処理端末１０の構成を示す説明図である。 信頼度を算出する第１の方法を示す説明図である。 信頼度を算出する第２の方法を示す説明図である。 情報処理端末１０の動作を示すフローチャートである。 第１の表示制御例の具体例を示す説明する。 信頼度マップの具体例を示す説明図である。 第２の表示制御例を示す説明図である。 他の第２の表示制御例を示す説明図である。 第３の表示制御例を示す説明図である。 第４の表示制御例を示す説明図である。 付加オブジェクトの配置方法を示す説明図である。 付加オブジェクトの配置方法を示す説明図である。 情報処理端末１０のハードウェア構成を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
また、以下に示す項目順序に従って本開示を説明する。
１．情報処理端末の概要
２．情報処理端末の構成
３．情報処理端末の動作
４．表示制御例
４－１．第１の表示制御例
４－２．第２の表示制御例
４－３．第３の表示制御例
４－４．第４の表示制御例
５．ハードウェア構成
６．むすび
＜１．情報処理端末の概要＞
図１は、本開示の一実施形態による情報処理端末１０の外観を示す説明図である。図１に示すように、本実施形態による情報処理端末１０は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。
情報処理端末１０は、表示制御装置の一例であり、図１に示したように撮像部１３０および表示部１５０を有する。撮像部１３０は、ユーザＵの視線方向に向けられており、ユーザＵの視線方向に存在する被写体の画像を取得する。表示部１５０は、情報処理端末１０がユーザに装着された際にユーザＵの眼前に位置する。表示部１５０は、透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。表示部１５０が透過型のディスプレイである場合、表示部１５０には仮想オブジェクト表示が配置されてもよい。一方、表示部１５０が非透過型のディスプレイである場合、表示部１５０には、撮像部１３０により得られた実空間画像、および実空間画像に重畳された仮想オブジェクト表示が表示されてもよい。いずれの場合においても、ユーザＵは、実空間に仮想オブジェクトが存在するかのような感覚を得ることが可能である。
なお、図１においてはユーザＵの両眼の眼前に２つの表示部１５０が設けられる例を示しているが、ユーザＵの片眼の眼前にのみ１つの表示部１５０が設けられてもよい。また、図１においては表示制御装置の一例としてメガネ型の情報処理端末１０を示しているが、表示制御装置はメガネ型の情報処理端末１０に限定されない。例えば、表示制御装置は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、表示制御装置は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドホン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。また、表示制御装置は、スマートフォン、または携帯電話などの携帯端末であってもよい。
ここで、表示部１５０が非透過型のディスプレイである場合に実空間画像に仮想オブジェクト表示を重畳する方法について言及する。情報処理端末１０は、実空間の３次元データ、仮想オブジェクトに設定された３次元位置、および情報処理端末１０の３次元位置を認識し、情報処理端末１０により得られた実空間画像において仮想オブジェクトに設定された３次元位置に対応する位置を特定し、当該特定した位置に仮想オブジェクト表示を重畳する。
ＡＲ処理、すなわち仮想オブジェクト表示の重畳に関し、仮想オブジェクトの３次元位置が実空間の物体の背後に設定されている場合、情報処理端末１０は仮想オブジェクト表示を実空間画像に重畳しないことが望ましい。しかし、実空間の３次元データの精度が低い場合、仮想オブジェクト表示が誤って重畳される、または、重畳されるべき仮想オブジェクト表示が重畳されず、不自然なＡＲ画像が得られることが懸念される。この点に関し、図２を参照してより具体的に説明する。
図２は、ＡＲ処理の具体例を示す説明図である。図２に示した実物体であるソファに関し、ソファの全体に亘り精度が高い３次元データＤ１が得られており、ソファの座面上に仮想オブジェクトの３次元位置が設定されている場合、ソファの画像に仮想オブジェクト表示Ｖ１が重畳された画像Ｅ１が表示される。画像Ｅ１において、ソファの肘置きの領域に仮想オブジェクト表示Ｖ１が重畳されないことで、ユーザはソファの肘置きの後側に仮想オブジェクトが存在するように感じることができる。
一方、３次元データＤ２において破線で示したように、ソファの肘置きの領域の認識精度が低い場合、仮想オブジェクトと肘置きの領域の前後関係の判断に誤りが生じ、結果、画像Ｅ２に示したように、不自然に欠けた仮想オブジェクト表示Ｖ２がソファの画像に重畳されることが懸念される。
本件発明者は、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、ＡＲ処理に関して、実空間の見え方を変化させることで表示の不自然さを低減することが可能である。以下、このような本開示の実施形態による情報処理端末１０の構成および動作を順次詳細に説明する。なお、以下では、表示部１５０が非透過型のディスプレイであることを主に想定して実施形態が説明されるが、透過型のディスプレイにも同様に本開示の実施形態を適用可能である。
＜２．情報処理端末の構成＞
図３は、情報処理端末１０の構成を示す説明図である。図３に示したように、本開示の実施形態による情報処理端末１０は、距離計測部１２０、位置推定部１２２、３次元統合部１２４、信頼度算出部１２６、信頼度つき３次元データ記憶部１２８、撮像部１３０、仮想オブジェクト記憶部１３２、領域特定部１３４、表示制御部１３６および表示部１５０を有する。
（距離計測部）
距離計測部１２０は、複数のカメラにより得られた画像と、複数のカメラの位置関係に基づき、視点位置から実空間上の物体までの距離を計測し、デプスマップを取得する。距離計測部１２０は、多視点ステレオまたはＩＲパターン投射ステレオであってもよい。
（位置推定部）
位置推定部１２２は、情報処理端末１０の位置を推定する。位置推定部１２２は、例えば、異なるタイミングで得られた複数の画像を比較することで視点位置の変化を推定する。位置推定部１２２は、撮像にステレオカメラまたは単眼カメラなどが用いられる場合、ＶｉｓｕａｌＳＬＡＭ（Simultaneous Localization and Mapping）を用いて撮像位置を推定してもよい。
（３次元統合部）
３次元統合部１２４は、複数の視点位置で得られたデプスマップを統合することで実空間の３次元データを生成する。例えば、３次元統合部１２４は、３次元データとしてボクセルボリューム上のＴＳＤＦ（Ｔｒｕｎｃａｔｅｄ Ｓｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｕｎｃｔｉｏｎ）、または点群（Ｐｏｉｎｔ Ｃｌｏｕｄ）などを用いることが可能である。複数の視点位置で得られたデプスマップを統合することにより、大規模な空間の３次元データを得ることが可能である。なお、事前に用意された３次元データを利用することも可能であり、この場合、視線位置とメッシュモデルの位置合わせが行われる。
また、３次元統合部１２４は、３次元データからポリゴンメッシュを抽出する。３次元データとしてＴＳＤＦが用いられる場合、３次元統合部１２４は、Ｍａｒｃｈｉｎｇ Ｃｕｂｅｓを用いｆ（ｘ）＝０の面を抽出してもよい（ｆは距離場、ｘは３次元位置）。３次元データとして点群が用いられる場合、３次元統合部１２４は、Ｐｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎを用いてもよい。
（信頼度算出部）
信頼度算出部１２６は、３次元データを構成する各要素データの信頼度を算出する。例えば、信頼度算出部１２６は３次元データを構成する各ボクセルの信頼度を算出する。以下、図４および図５を参照して信頼度の算出の具体例を説明する。
図４は、信頼度を算出する第１の方法を示す説明図である。図４は部屋の平面図を示し、当該平面図において各ボクセルが模式的に示されている。高さ方向にも複数のボクセルが存在するが、説明の便宜上、高さ方向上では１つのボクセルのみが示されている。
第１の方法は、各ボクセルが観測された回数の合計数を各ボクセルの信頼度として算出する方法である。図４に示したように、視点位置Ｐ１、Ｐ２およびＰ３でデプスマップが得られた場合を考える。この場合、視点位置Ｐ１では、ボクセルＢ５、Ｃ５、Ｃ６およびＤ６が観測され、視点位置Ｐ２では、ボクセルＢ５、Ｃ５、Ｃ６、Ｄ６およびＥ６が観測され、視点位置Ｐ３ではボクセルＥ６、Ｆ６、Ｇ５、Ｇ６、Ｈ５およびＨ６が観測される。結果、図４には、各ボクセルの信頼度として、Ｂ５＝２、Ｃ５＝２、Ｃ６＝２、Ｄ６＝２、Ｅ６＝２、Ｆ６＝１、Ｇ５＝１、Ｇ６＝１、Ｈ５＝１、Ｈ６＝１が算出された例を示している。
図５は、信頼度を算出する第２の方法を示す説明図である。図５は、図４と同様に部屋の平面図を示し、当該平面図において各ボクセルが模式的に示されている。高さ方向にも複数のボクセルが存在するが、説明の便宜上、高さ方向上では１つのボクセルのみが示されている。
第２の方法は、各デプスマップで観測されたボクセルに設定された個別信頼度の合計値を各ボクセルの信頼度として算出する方法である。図５に示したように視点位置Ｐ４およびＰ５でデプスマップが得られた場合を考える。この場合、視点位置Ｐ４および視点位置Ｐ５の各々で複数のボクセルが観測されるが、各ボクセルについて計測された距離の個別信頼度が異なる。個別信頼度は、例えば、ＴｏＦの反射率であってもよいし、ステレオマッチングのスコアであってもよい。結果、図５には、各ボクセルの信頼度として、Ｂ４＝２、Ｂ５＝１、Ｂ６＝１、Ｃ４＝０．２、Ｃ５＝０．２、Ｄ４＝２、Ｅ４＝２が算出された例を示している。
なお、信頼度算出部１２６は、３次元データを構成する各要素データの信頼度として、各ポリゴンメッシュ（３角形メッシュの場合は１つの３角形）の信頼度を算出してもよい。この場合、ポリゴンメッシュには、ポリゴンメッシュに対応するボクセルまたは点の信頼度が割り当てられ得る。ポリゴンメッシュに複数のボクセルまたは複数の点が対応する場合、信頼度算出部１２６は、ポリゴンメッシュに、複数のボクセルの信頼度の平均値、または複数の点の信頼度の平均値が割り当ててもよい。
（信頼度つき３次元データ記憶部）
信頼度つき３次元データ記憶部１２８は、３次元統合部１２４により生成された３次元データを構成する各要素データに信頼度算出部１２６により算出された信頼度を示す信頼度情報が関連付けられたデータ、すなわち、信頼度つき３次元データを記憶する。なお、信頼度情報が関連付けられる要素データは、ボクセルであってもよいし、ポリゴンメッシュであってもよい。以下では、ポリゴンメッシュに信頼度情報が関連付けられていることを主に想定して説明を進める。
（撮像部）
撮像部１３０は、図１を参照して説明したように、ユーザの視線方向に向けられており、ユーザの視線方向に存在する被写体の画像を取得する。
（仮想オブジェクト記憶部）
仮想オブジェクト記憶部１３２は、各仮想オブジェクトに関し、仮想オブジェクトの表示データである仮想オブジェクト表示、および仮想オブジェクトに設定された３次元位置を含む仮想表示用データを記憶する。なお、仮想オブジェクトは移動してもよく、この場合、仮想オブジェクトには動的に変化する３次元位置が設定される。
（領域特定部）
領域特定部１３４は、３次元データにおいて信頼度が基準を満たさない要素データに対応する領域を特定する。領域特定部１３４は、例えば、信頼度つき３次元データ記憶部１２８から信頼度つき３次元データを取得する情報取得部の機能を有し、３次元データ（メッシュモデル）を情報処理端末１０の位置へ投影し、各画素に対応する要素データの信頼度を各画素に与えることで、信頼度マップを得ることができる。そして、領域特定部１３４は、信頼度マップにおいて信頼度が基準値未満である画素に基づき、信頼度が基準値未満である要素データに対応する３次元領域、または、撮像部１３０により得られた実空間画像上で特定される２次元領域を特定してもよい。
（表示制御部、表示部）
表示制御部１３６は、仮想オブジェクト記憶部１３２に記憶された仮想表示用データを用い、撮像部１３０により得られた実空間画像に仮想オブジェクト表示を重畳し、仮想オブジェクト表示が重畳された実空間画像を表示部１５０に表示させる。さらに、表示制御部１３６は、領域特定部１３４により特定された領域の見え方を変化させる表示制御を行う。当該表示制御については「４．表示制御例」以降で詳細に説明する。本開示の実施形態の表示制御によれば、本開示の実施形態の表示制御が実装されていな端末と比較して、３次元データが示す実空間の３次元構造と実際の実空間の３次元構造に差がある場合に起こり得る仮想オブジェクト表示の不自然さを低減することが可能である。
＜３．情報処理端末の動作＞
以上、本開示の実施形態による情報処理端末１０の構成を説明した。続いて、図６を参照し、本開示の実施形態による情報処理端末１０の動作を整理する。
図６は、情報処理端末１０の動作を示すフローチャートである。図６に示したように、まず、距離計測部１２０が複数の視点位置で実空間のデプスマップを取得する（Ｓ３１０）。そして、３次元統合部１２４が、距離計測部１２０により取得された複数のデプスマップを統合することにより、実空間の３次元構造を表現する３次元データを生成する（Ｓ３２０）。また、信頼度算出部１２６は、３次元統合部１２４により生成された３次元データを構成する各要素データの信頼度を算出する（Ｓ３３０）。そして、信頼度つき３次元データ記憶部１２８が、信頼度つき３次元データを記憶する（Ｓ３４０）。
その後、撮像部１３０により実空間画像が取得されると（Ｓ３５０）、領域特定部１３４が、例えば３次元データにおいて信頼度が基準を満たさない要素データに対応する領域を実空間画像上で特定する（Ｓ３６０）。そして、表示制御部１３６は、領域特定部１３４により特定された領域の見え方を変化させる表示制御を行う（Ｓ３７０）。以下、図７～図１４を参照し、表示制御部１３６による表示制御の幾つかの具体例を順次詳細に説明する。
＜４．表示制御例＞
（４－１．第１の表示制御例）
第１の表示制御例は、実空間画像において、信頼度が基準を満たさない要素データに対応する領域（低信頼度領域）が仮想オブジェクトに設定されている位置に重なる場合に行われる表示制御例である。表示制御部１３６は、実空間画像において、低信頼度領域が仮想オブジェクトに設定されている位置に重なる場合に、仮想オブジェクト表示を実空間画像に重畳しない。具体的には、表示制御部１３６は、仮想オブジェクトに設定されている３次元位置よりも視点位置側に低信頼度領域が存在する場合に、仮想オブジェクト表示を実空間画像に重畳しなくてもよい。以下、図７を参照し、このような第１の表示制御例をより具体的に説明する。
図７は、第１の表示制御例の具体例を示す説明する。図７に示した実物体（ソファ）の３次元データにおける肘置きの領域Ｔが低信頼度領域であり、肘置きの領域Ｔが仮想オブジェクトに設定されている位置Ｓよりも視点位置側している場合を考える。この場合、表示制御部１３６は、画像Ｅ３に示したように、実空間画像に仮想オブジェクト表示を重畳しなくてもよい。これにより、不自然な仮想オブジェクト表示の発生を抑制することが可能である。
また、表示制御部１３６は、画像Ｅ４に示したように、仮想オブジェクトに設定されている位置と肘置きの領域Ｔとの関係により仮想オブジェクト表示が重畳されていないことを示すメッセージＭ（図７に示した例では、「表示可能エリア外です。」というメッセージ）を表示してもよい。かかる構成により、ユーザは、仮想オブジェクト表示が重畳されていない理由を混乱無しに理解することが可能である。
（４－２．第２の表示制御例）
第２の表示制御例では、実空間画像における低信頼度領域に、低信頼度領域の視認性を低下させる表示制御が行われる。表示制御部１３６は、例えば、実空間画像における低信頼度領域に透明度を設定してもよいし、実空間画像における低信頼度領域に他の表示を配置してもよい。以下、図８～図１０を参照し、このような第２の表示制御例をより具体的に説明する。
図８、信頼度マップの具体例を示す説明図である。図８では、説明の便宜上、信頼度マップを構成する画素数が３５個である例が示されているが、信頼度マップはより多数の画素により構成され得る。図８に示した例では、ソファの肘掛けの領域Ｔを含む画素の信頼度が０～０．５である。領域特定部１３４が信頼度「１」未満である画素に対応する領域を低信頼度領域として特定する場合、領域特定部１３４は、肘掛けの領域Ｔを低信頼度領域として特定する。
図９は、第２の表示制御例を示す説明図である。図９に示した画像Ｅ５のように、表示制御部１３６は、低信頼度領域として特定された肘掛けの領域Ｔに透明度を設定してもよい。かかる構成により、仮想オブジェクト表示Ｖと肘掛けの領域Ｔとの前後表現に誤りがあっても、当該誤りが目立たなくなるので、ユーザに与える不自然な印象を緩和することが可能である。ここで、表示制御部１３６は、肘掛けの領域Ｔを構成する各部分に、各部分に対応する信頼度マップ上の画素の信頼度が低いほど高い透明度を設定してもよい。かかる構成により、低信頼度領域と他の領域との間で滑らかに透明度を遷移させることが可能となる。なお、低信頼度領域の視認性を低下させる表示制御は、透明度の設定に限られず、例えば、ボカシ量の制御、または色濃度の制御などであってもよい。
図１０は、他の第２の表示制御例を示す説明図である。図１０に示した画像Ｅ６のように、表示制御部１３６は、低信頼度領域として特定された肘掛けの領域Ｔにテクスチャ表示６２を配置してもよい。かかる構成により、仮想オブジェクト表示Ｖと肘掛けの領域Ｔとの前後関係に誤りがあっても、当該誤りが目立たなくなるので、ユーザに与える不自然な印象を緩和することが可能である。ここで、表示制御部１３６は、肘掛けの領域Ｔを構成する各部分に、各部分に対応する信頼度マップ上の画素の信頼度が低いほど濃い濃度を有するテクスチャ表示６２を配置してもよい。かかる構成により、低信頼度領域と他の領域との間でテクスチャ表示６２の存在感を滑らかに遷移させることが可能である。
（４－３．第３の表示制御例）
第３の表示制御例では、３次元データにおける低信頼度領域に対応する位置であって、特に、３次元データにおける低信頼度領域と同一の位置に、実物体の代替オブジェクトが配置される。以下、図１１を参照し、このような第３の表示制御例をより具体的に説明する。
図１１は、第３の表示制御例を示す説明図である。表示制御部１３６は、例えば、低信頼度領域として特定された肘置きの領域Ｔに、上記代替オブジェクトとして、実物体である肘置きの形状を表現するワイヤーフレームを配置してもよい。これにより、図１１に示した画像Ｅ７のように、肘置きの領域Ｔの表示はワイヤーフレームの表示に置換される。かかる構成により、仮想オブジェクト表示Ｖがユーザに与える不自然な印象を緩和すると共に、ユーザに３次元データの精度が不十分である領域を伝えることが可能である。
（４－４．第４の表示制御例）
第４の表示制御例でも、３次元データにおける低信頼度領域に対応する位置であって、特に、３次元データにおける低信頼度領域よりも視点位置側に、実物体を遮る付加オブジェクトが配置される。ここで、視点位置は、ユーザの近傍の位置である。本実施形態においては、距離計測部１２０および表示部１５０などが一体的に情報処理端末１０に構成され、当該情報処理端末１０がユーザに装着されるので、視点位置は情報処理端末１０の位置に対応し得る。一方、距離計測部１２０および表示部１５０が分離され、距離計測部１２０がユーザから離れて位置する場合には、視点位置は距離計測部１２０でなく表示部１５０の位置に対応し得る。以下、図１２を参照し、このような第４の表示制御例をより具体的に説明する。
図１２は、第４の表示制御例を示す説明図である。表示制御部１３６は、例えば、低信頼度領域として特定された肘置きの領域よりも視点位置側に、上記付加オブジェクトとして、肘置きの領域を隠す雲形の付加オブジェクトを配置してもよい。これにより、図１２に示した画像Ｅ８のように、肘置きの領域の手前側に存在するように見える雲形の付加オブジェクト８２が表示される。かかる構成により、仮想オブジェクト表示Ｖが低信頼度領域との関係でユーザに与える不自然な印象を緩和することが可能である。
ここで、図１３および図１４を参照し、付加オブジェクトの配置方法について具体的に説明する。
図１３において、実物体８１の３次元データにおいて太線で示した範囲が低信頼度領域として特定された場合を考える。この場合、表示制御部１３６は、図１３に示したように、低信頼度領域に含まれる各ポリゴンメッシュの各頂点（ｘｉ）から法線方向に距離ｄだけオフセットした点（ｘ’ｉ）を特定する。距離ｄは、固定値であってもよいし、視点位置と実物体８１との間の距離に応じた距離（例えば、所定割合の距離）であってもよい。
そして、図１４の左図に示したように各頂点（ｘｉ）に対応する点（ｘ’ｉ）が特定されると、表示制御部１３６は、図１４の左図に示すように各点（ｘ’ｉ）の中心に順次に付加オブジェクト８２を配置する。そして、表示制御部１３６は、全ての点（ｘ’ｉ）が付加オブジェクト８２に含まれると、付加オブジェクト８２の配置を終了する。
なお、表示制御部１３６は、仮想オブジェクトに設定された位置と低信頼度領域とが重なる場合に上述した付加オブジェクトの配置を行ってもよい。仮想オブジェクトに設定された位置と低信頼度領域とが重なる場合に、仮想オブジェクト表示と低信頼度領域との前後表現の誤りが生じ得るからである。第２の表示制御例および第３の表示制御例についても同様に、仮想オブジェクトに設定された位置と低信頼度領域とが重なる場合に、上述した表示制御が行われてもよい。
＜５．ハードウェア構成＞
以上、本開示の実施形態を説明した。上述した領域特定および表示制御などの情報処理は、ソフトウェアと、以下に説明する情報処理端末１０のハードウェアとの協働により実現される。
図１５は、情報処理端末１０のハードウェア構成を示した説明図である。図１５に示したように、情報処理端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末１０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した３次元統合部１２４、信頼度算出部１２６、領域特定部１３４および表示制御部１３６などの機能が実現され得る。
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。情報処理端末１０のユーザは、該入力装置２０８を操作することにより、情報処理端末１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
ストレージ装置２１１は、本実施形態にかかる情報処理端末１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。ストレージ装置２１１は、図３を参照して説明した信頼度つき３次元データ記憶部１２８の機能を包含し得る。
ドライブ２１２は、記憶媒体用リーダライタであり、情報処理端末１０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
＜６．むすび＞
以上説明した本開示の実施形態によれば、多様な作用効果が得られる。例えば、本開示の実施形態によれば、低信頼度領域の見え方を変化させることで、仮想オブジェクト表示と低信頼度領域との前後表現に誤りがあっても、当該誤りが目立たなくなるので、ユーザに与える不自然な印象を緩和することが可能である。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では図３に示した各構成が情報処理端末１０に含まれる例を説明したが、図３に示した一部の構成は他の装置に実装されてもよい。例えば、３次元統合部１２４、信頼度算出部１２６、領域特定部１３４または表示制御部１３６の少なくともいずれかはクラウドサーバに実装され、クラウドサーバが表示制御装置として機能してもよい。
また、上記では、信頼度算出部１２６により算出された信頼度つき３次元データにおいて信頼度が基準を満たさない要素データに対応する領域が特定される例を説明した。しかし、上記領域の特定のために用いられる信頼度つき３次元データは、信頼度算出部１２６により算出された信頼度つき３次元データでなくてもよい。例えば、信頼度つき３次元データは他の方法、例えばネットワーク上のサーバから受信する方法で得られてもよい。また、情報処理端末１０は、信頼度の初期値が付いた３次元データをサーバから受信し、当該３次元データを処理または加工することで信頼度つき３次元データを得てもよい。
また、本明細書の情報処理端末１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理端末１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理端末１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理端末１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
を備える、表示制御装置。
（２）
前記表示制御部は、画像における前記領域の視認性を低下させる表示制御を行う、前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記画像における前記領域に透明度を設定する、前記（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記画像における前記領域に他の表示を配置する、前記（２）に記載の表示制御装置。
（５）
前記領域特定部により特定される前記領域は３次元領域であり、
前記表示制御部は、前記３次元領域に対応する位置にオブジェクトを配置する、前記（１）に記載の表示制御装置。
（６）
前記３次元領域に対応する位置は、前記３次元領域と同一の位置、または前記３次元領域よりも視点位置側である、前記（５）に記載の表示制御装置。
（７）
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られる、前記（１）～（６）のいずれか一項に記載の表示制御装置。
（８）
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられる、前記（７）に記載の表示制御装置。
（９）
前記表示制御装置は、前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、前記（８）に記載の表示制御装置。
（１０）
各デプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
前記表示制御装置は、前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、前記（８）に記載の表示制御装置。
（１１）
コンピュータを、
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
として機能させるための、プログラム。
（１２）
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、
前記信頼度が基準を満たさない要素データに対応する領域を特定することと、
特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、
を含む、表示制御方法。
１０ 情報処理端末
１２０ 距離計測部
１２２ 位置推定部
１２４ 次元統合部
１２６ 信頼度算出部
１２８ ３次元データ記憶部
１３０ 撮像部
１３２ 仮想オブジェクト記憶部
１３４ 領域特定部
１３６ 表示制御部
１５０ 表示部

Claims (11)

  1. 実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
    前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
    前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
    を備え、
    前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
    前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
    前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、表示制御装置。
  2. 実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
    前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
    前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
    を備え、
    前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
    前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
    前記複数のデプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
    前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、表示制御装置。
  3. 前記表示制御部は、画像における前記領域の視認性を低下させる表示制御を行う、請求項１または２に記載の表示制御装置。
  4. 前記表示制御部は、前記画像における前記領域に透明度を設定する、請求項３に記載の表示制御装置。
  5. 前記表示制御部は、前記画像における前記領域に他の表示を配置する、請求項３に記載の表示制御装置。
  6. 前記領域特定部により特定される前記領域は３次元領域であり、
    前記表示制御部は、前記３次元領域に対応する位置にオブジェクトを配置する、請求項１または２に記載の表示制御装置。
  7. 前記３次元領域に対応する位置は、前記３次元領域と同一の位置、または前記３次元領域よりも視点位置側である、請求項６に記載の表示制御装置。
  8. コンピュータを、
    実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
    前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
    前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
    として機能させるための、プログラムであって、
    前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
    前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
    前記コンピュータをさらに、
    前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部として機能させるための、プログラム。
  9. コンピュータを、
    実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
    前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
    前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
    として機能させるための、プログラムであって、
    前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
    前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
    前記複数のデプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
    前記コンピュータをさらに、
    前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部として機能させるための、プログラム。
  10. 実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、
    前記信頼度が基準を満たさない要素データに対応する領域を特定することと、
    特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、
    を含む、表示制御方法であって、
    前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
    前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
    前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を前記プロセッサにより算出することをさらに含む、表示制御方法。
  11. 実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、
    前記信頼度が基準を満たさない要素データに対応する領域を特定することと、
    特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、
    を含む、表示制御方法であって、
    前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
    前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
    前記複数のデプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
    前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を前記プロセッサにより算出することをさらに含む、表示制御方法。
JP2020521749A 2018-05-30 2019-03-27 表示制御装置、プログラムおよび表示制御方法 Active JP7371623B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018103088 2018-05-30
JP2018103088 2018-05-30
PCT/JP2019/013244 WO2019230169A1 (ja) 2018-05-30 2019-03-27 表示制御装置、プログラムおよび表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2019230169A1 JPWO2019230169A1 (ja) 2021-07-26
JP7371623B2 true JP7371623B2 (ja) 2023-10-31

Family

ID=68697419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020521749A Active JP7371623B2 (ja) 2018-05-30 2019-03-27 表示制御装置、プログラムおよび表示制御方法

Country Status (4)

Country Link
US (1) US11297296B2 (ja)
JP (1) JP7371623B2 (ja)
CN (1) CN112204502B (ja)
WO (1) WO2019230169A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020409014A1 (en) 2019-12-20 2022-08-18 Niantic, Inc. Merging local maps from mapping devices
WO2021193308A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056567A1 (ja) 2015-10-01 2017-04-06 三菱電機株式会社 寸法計測装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4927122B2 (ja) * 2009-06-15 2012-05-09 シャープ株式会社 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
JP5148660B2 (ja) * 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP5732988B2 (ja) 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
US8880801B1 (en) * 2011-09-28 2014-11-04 Emc Corporation Techniques for reliability and availability assessment of data storage configurations
JP6191241B2 (ja) * 2013-05-30 2017-09-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10521908B2 (en) * 2017-12-20 2019-12-31 International Business Machines Corporation User interface for displaying simulated anatomical photographs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056567A1 (ja) 2015-10-01 2017-04-06 三菱電機株式会社 寸法計測装置

Also Published As

Publication number Publication date
WO2019230169A1 (ja) 2019-12-05
CN112204502B (zh) 2024-04-02
CN112204502A (zh) 2021-01-08
JPWO2019230169A1 (ja) 2021-07-26
US20210084279A1 (en) 2021-03-18
US11297296B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP4794678B1 (ja) 映像処理装置、映像処理方法、および映像通信システム
JP5966256B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US20160217616A1 (en) Method and System for Providing Virtual Display of a Physical Environment
US9679415B2 (en) Image synthesis method and image synthesis apparatus
JP2008033531A (ja) 情報処理方法
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
JP7371623B2 (ja) 表示制御装置、プログラムおよび表示制御方法
TW201921318A (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
US20240169489A1 (en) Virtual, augmented, and mixed reality systems and methods
US20220277512A1 (en) Generation apparatus, generation method, system, and storage medium
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112291550A (zh) 自由视点图像生成方法、装置、系统及可读存储介质
US20230251710A1 (en) Virtual, augmented, and mixed reality systems and methods
JP2012234411A (ja) 画像生成装置、画像生成システム、画像生成プログラムおよび画像生成方法
CN108764135B (zh) 图像生成方法、装置，及电子设备
JP2015043187A (ja) 画像生成装置および画像生成プログラム
US11818325B2 (en) Blended mode three dimensional display systems and methods
KR101242764B1 (ko) 입체 3ｄ 영상과 ｇｐｕ를 이용한 입체 증강현실 영상 생성 장치 및 방법
JP2022029239A (ja) 画像処理装置、画像処理方法、およびプログラム
US20230260222A1 (en) Efficient dynamic occlusion based on stereo vision within an augmented or virtual reality application
JP2021018570A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2022103836A (ja) 情報処理装置、情報処理方法及びプログラム
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R151 Written notification of patent or utility model registration

Ref document number: 7371623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151