JP2021508520A - モバイルロボットを用いる動的カメラ位置決め及び照明による空間キャプチャ、モデル化、及び質感再構築 - Google Patents
モバイルロボットを用いる動的カメラ位置決め及び照明による空間キャプチャ、モデル化、及び質感再構築 Download PDFInfo
- Publication number
- JP2021508520A JP2021508520A JP2020534906A JP2020534906A JP2021508520A JP 2021508520 A JP2021508520 A JP 2021508520A JP 2020534906 A JP2020534906 A JP 2020534906A JP 2020534906 A JP2020534906 A JP 2020534906A JP 2021508520 A JP2021508520 A JP 2021508520A
- Authority
- JP
- Japan
- Prior art keywords
- local environment
- robot
- image
- sensor data
- texture information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Environmental & Geological Engineering (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Environmental Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【選択図】図1A
Description
Claims (22)
- 複数のセンサを含むロボットを使用して、ローカル環境についてセンサデータを取得することと、
前記センサデータを処理して、前記ローカル環境の空間モデルを生成することであって、前記空間モデルが前記ローカル環境中の実表面に対応する仮想表面を定義する、前記生成することと、
前記センサデータをさらに処理して、前記空間モデルによって定義される前記仮想表面に関連付けられる質感情報を生成することと、
ヘッドマウントディスプレイ(HMD)の位置及び向きを前記ローカル環境において追跡することと、
前記空間モデル、前記質感情報、及び前記HMDの前記追跡された位置及び向きを使用して、前記ローカル環境に対応する仮想空間のビューをレンダリングすることと、
前記HMDを介して仮想環境の前記ビューを提示することと、
を含む、方法。 - 前記ローカル環境中の前記HMDの前記位置は、パースペクティブを定義し、前記パースペクティブから前記仮想空間の前記ビューはレンダリングされる、請求項1に記載の方法。
- 前記ローカル環境中の前記HMDの前記向きは、前記仮想空間の前記ビューの方向を定義する、請求項1に記載の方法。
- 前記仮想空間の前記ビューをレンダリングすることは、前記仮想表面のうちの1つ以上をレンダリングすることを含み、前記仮想表面は前記仮想表面のうちの前記1つ以上に関連付けられる前記質感情報を使用して、前記空間モデルによって定義される、請求項1に記載の方法。
- 前記センサは、少なくとも1つの画像キャプチャデバイス、及び少なくとも1つのデプスカメラを含み、前記センサデータは、前記画像キャプチャデバイスによってキャプチャされる画像データ、及び前記デプスカメラによってキャプチャされる深度データを含む、請求項1に記載の方法。
- 前記質感情報は、拡散マップ、バンプマップ、及び/またはスペキュラマップのうちの1つ以上を含む、請求項1に記載の方法。
- 前記ロボットを使用して前記センサデータを取得することは、
前記ロボットを前記ローカル環境内の複数の位置に移動させること、及び
前記ロボットの前記センサを前記位置のそれぞれに使用して前記ローカル環境を感知し、前記センサデータを生成すること、
を含む、請求項1に記載の方法。 - 前記センサデータを取得することは、複数の角度から前記ローカル環境における実表面の画像をキャプチャすることを含み、
前記センサデータを処理して前記質感情報を生成することは、前記複数の角度からキャプチャされる前記画像を処理して、前記実表面に対応する前記空間モデルによって定義される所与の仮想表面について質感情報を生成することを含む、
請求項1に記載の方法。 - ロボットを使用してローカル環境において複数の照明条件を達成し、前記ロボットの複数のセンサを使用して前記複数の照明条件下で前記ローカル環境についてのセンサデータを取得することと、
前記センサデータを処理して前記ローカル環境の空間モデルを生成することであって、前記空間モデルが前記ローカル環境中の実表面に対応する仮想表面を定義する、前記生成することと、
前記センサデータをさらに処理して、前記空間モデルによって定義される前記仮想表面に関連付けられる質感情報を生成することと、
を含む、方法。 - 前記ロボットを使用して前記複数の照明条件を達成することは、前記ロボットによって住宅用照明制御システムにアクセスして1つ以上のライトを前記ローカル環境において制御することを含む、請求項9に記載の方法。
- 前記ロボットを使用して前記複数の照明条件を達成することは、前記ロボットに含まれるライトを使用して前記ローカル環境の少なくとも一部分を照明することを含む、請求項9に記載の方法。
- 前記ロボットを使用して前記複数の照明条件を達成することは、前記ローカル環境中の光源からの光が前記ローカル環境中の表面に直接到達するのを遮断するように前記ロボットを1つ以上の位置に移動させることを含む、請求項9に記載の方法。
- 前記センサは、少なくとも1つの画像キャプチャデバイス、及び少なくとも1つのデプスカメラを含み、前記センサデータは、前記画像キャプチャデバイスによってキャプチャされる画像データ、及び前記デプスカメラによってキャプチャされる深度データを含む、請求項9に記載の方法。
- 前記質感情報は、拡散マップ、バンプマップ、及び/またはスペキュラマップのうちの1つ以上を含む、請求項9に記載の方法。
- 前記ロボットを使用して前記センサデータを取得することは、前記ロボットを前記ローカル環境内の複数の位置に移動させ、前記ロボットの前記センサを前記位置のそれぞれに使用して前記ローカル環境を感知し、前記センサデータを生成することを含む、請求項9に記載の方法。
- ローカル環境においてロボットによって実行される方法であって、
前記ローカル環境中の第一位置に位置決めされる前記ロボットの画像キャプチャデバイスによって前記ローカル環境の第一画像をキャプチャすることであって、前記第一画像をキャプチャすることは前記ローカル環境における実表面のキャプチャを有する、前記キャプチャすることと、
前記第一画像を処理して前記実表面の質感情報を決定し、可能性のあるエラーが前記実表面の前記決定された質感情報に存在することをさらに判定することと、
前記可能性のあるエラーを判定することに応答して、前記ロボットを第二位置に移動させ、前記第二位置において前記画像キャプチャデバイスによって前記ローカル環境の第二画像をキャプチャすることであって、前記第二画像をキャプチャすることは前記第二位置から定義されるパースペクティブからの前記実表面のキャプチャを含む、前記キャプチャすることと、
前記第二画像を処理して前記実表面の前記決定された質感情報において前記可能性のあるエラーを検証し、前記実表面の前記決定された質感情報において前記可能性のあるエラーを訂正することと、
を含む、方法。 - 前記第二画像を処理して前記実表面の前記決定された質感情報において前記可能性のあるエラーを検証することは、前記第一画像の一部分を前記第二画像の対応する部分と比較することを含み、前記第一画像及び前記第二画像の前記部分が前記実表面の同じ領域からのものである、請求項16に記載の方法。
- 前記可能性のあるエラーを訂正することは、前記第二画像の前記処理に基づき、前記実表面の前記決定された質感情報の一部分を置き換えることを含む、請求項16に記載の方法。
- 前記質感情報は、色及び表面構造のうちの1つ以上を定義する、請求項16に記載の方法。
- ローカル環境においてロボットによって実行される方法であって、
前記ローカル環境の第一深度画像を、前記ローカル環境中の第一位置に位置決めされる前記ロボットのデプスカメラによってキャプチャすることと、
前記第一深度画像を処理して前記ローカル環境の空間構造を決定し、可能性のあるエラーが前記ローカル環境の前記決定された空間構造に存在することをさらに判定することと、
前記可能性のあるエラーを判定することに応答して、前記ロボットを第二位置に移動させ、前記第二位置において前記デプスカメラによって前記ローカル環境の第二深度画像をキャプチャすることであって、前記第二深度画像をキャプチャすることは前記第二位置から定義されるパースペクティブから前記ローカル環境のキャプチャを含む、前記キャプチャすることと、
前記第二画像を処理して前記決定された空間構造において前記可能性のあるエラーを検証し、前記決定された空間構造において前記可能性のあるエラーを訂正することと、
を含む、方法。 - 前記第二深度画像を処理して前記決定された空間構造において前記可能性のあるエラーを検証することは、前記第一深度画像の一部分を前記第二深度画像の対応する部分と比較することを含み、前記第一深度画像及び前記第二深度画像の前記部分が前記ローカル環境の同じ領域からのものである、請求項20に記載の方法。
- 前記可能性のあるエラーを訂正することは、前記第二画像の前記処理に基づき、前記ローカル環境の前記決定された空間構造の一部分を置き換えることを含む、請求項20に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/853,667 US10713840B2 (en) | 2017-12-22 | 2017-12-22 | Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot |
US15/853,667 | 2017-12-22 | ||
PCT/US2018/066599 WO2019126387A1 (en) | 2017-12-22 | 2018-12-19 | Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021508520A true JP2021508520A (ja) | 2021-03-11 |
JP7184901B2 JP7184901B2 (ja) | 2022-12-06 |
Family
ID=65276263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534906A Active JP7184901B2 (ja) | 2017-12-22 | 2018-12-19 | モバイルロボットを用いる動的カメラ位置決め及び照明による空間キャプチャ、モデル化、及び質感再構築 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10713840B2 (ja) |
EP (1) | EP3727624A1 (ja) |
JP (1) | JP7184901B2 (ja) |
CN (1) | CN112135672B (ja) |
WO (1) | WO2019126387A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7327872B2 (ja) * | 2018-05-14 | 2023-08-16 | エスアールアイ インターナショナル | コンピュータによる検査システム及び方法 |
US10930049B2 (en) * | 2018-08-27 | 2021-02-23 | Apple Inc. | Rendering virtual objects with realistic surface properties that match the environment |
US10733800B2 (en) * | 2018-09-17 | 2020-08-04 | Facebook Technologies, Llc | Reconstruction of essential visual cues in mixed reality applications |
US11520041B1 (en) * | 2018-09-27 | 2022-12-06 | Apple Inc. | Correcting depth estimations derived from image data using acoustic information |
US10937191B2 (en) * | 2018-10-23 | 2021-03-02 | Dell Products, Lp | Predictive simultaneous localization and mapping system using prior user session positional information |
US11557060B2 (en) * | 2018-11-05 | 2023-01-17 | Wayfair Llc | Systems and methods for scanning three-dimensional objects |
US20200231082A1 (en) * | 2019-01-21 | 2020-07-23 | Kevin Arnold Morran | Remote controlled lighting apparatus |
KR20200093922A (ko) * | 2019-01-29 | 2020-08-06 | 삼성전자주식회사 | 전자 장치의 외부 전자 장치를 제어하는 방법, 전자 장치 및 저장 매체 |
TWI723715B (zh) * | 2019-12-30 | 2021-04-01 | 群邁通訊股份有限公司 | 電腦裝置、控制機械手臂夾取和放置物件的方法 |
CN113119099A (zh) * | 2019-12-30 | 2021-07-16 | 深圳富泰宏精密工业有限公司 | 计算机装置、控制机械手臂夹取和放置物件的方法 |
EP4084938A1 (en) * | 2020-01-03 | 2022-11-09 | CO6, Inc. dba Company Six | Situational awareness robot |
US11206365B2 (en) | 2020-01-13 | 2021-12-21 | Charter Communications Operating, Llc | Method and apparatus for overlaying themed imagery onto real-world objects in a head-mounted display device |
CN111399637A (zh) * | 2020-02-28 | 2020-07-10 | 广州幻境科技有限公司 | 一种基于slam的虚拟现实大空间定位方法及系统 |
US11759711B2 (en) * | 2021-09-28 | 2023-09-19 | Sony Group Corporation | Method for quasi-random placement of virtual items in an extended reality (XR) space |
US20230309055A1 (en) * | 2022-03-24 | 2023-09-28 | Microsoft Technology Licensing, Llc | Head-mounted device communication adaptation using environment context |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216970A (ja) * | 2002-01-23 | 2003-07-31 | Canon Inc | 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム |
JP2007072859A (ja) * | 2005-09-08 | 2007-03-22 | Nippon Hoso Kyokai <Nhk> | Cg画像生成装置およびcg画像生成プログラム |
JP2007280046A (ja) * | 2006-04-06 | 2007-10-25 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
US20170206712A1 (en) * | 2014-11-16 | 2017-07-20 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
JP2017536592A (ja) * | 2014-08-27 | 2017-12-07 | ケアストリーム ヘルス インク | 3次元表面の自動再合成 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
AU2005200948B2 (en) * | 2004-03-09 | 2008-03-06 | Canon Kabushiki Kaisha | Compositing list caching for a raster image processor |
US8406505B2 (en) * | 2007-08-30 | 2013-03-26 | Honda Motor Co., Ltd. | Image brightness reduction for legged mobile robot |
US8725273B2 (en) * | 2010-02-17 | 2014-05-13 | Irobot Corporation | Situational awareness for teleoperation of a remote vehicle |
US8918209B2 (en) * | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US20120249416A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Modular mobile connected pico projectors for a local multi-user collaboration |
US10796494B2 (en) * | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US20150097827A1 (en) * | 2013-10-09 | 2015-04-09 | Adobe Systems Incorporated | Target Region Fill Utilizing Transformations |
US9432636B2 (en) * | 2013-11-26 | 2016-08-30 | Microsoft Technology Licensing, Llc | Large-scale surface reconstruction that is robust against tracking and mapping errors |
US9741169B1 (en) * | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
US9751210B2 (en) * | 2014-11-26 | 2017-09-05 | Irobot Corporation | Systems and methods for performing occlusion detection |
US9728010B2 (en) * | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
US9972123B2 (en) * | 2015-04-01 | 2018-05-15 | Otoy, Inc. | Generating 3D models with surface details |
US11263461B2 (en) | 2015-10-05 | 2022-03-01 | Pillar Vision, Inc. | Systems and methods for monitoring objects at sporting events |
US10486313B2 (en) * | 2016-02-09 | 2019-11-26 | Cobalt Robotics Inc. | Mobile robot map generation |
WO2017218234A1 (en) * | 2016-06-15 | 2017-12-21 | Irobot Corporation | Systems and methods to control an autonomous mobile robot |
WO2018009833A1 (en) * | 2016-07-08 | 2018-01-11 | Charlton Erik Allen | Intelligent lighting control system lighting alarm apparatuses, systems, and methods |
US10579138B2 (en) * | 2016-12-22 | 2020-03-03 | ReScan, Inc. | Head-mounted sensor system |
US20190187721A1 (en) * | 2017-12-15 | 2019-06-20 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Control method and system, and mobile robot using the same |
-
2017
- 2017-12-22 US US15/853,667 patent/US10713840B2/en active Active
-
2018
- 2018-12-19 EP EP18842762.9A patent/EP3727624A1/en active Pending
- 2018-12-19 JP JP2020534906A patent/JP7184901B2/ja active Active
- 2018-12-19 CN CN201880086628.4A patent/CN112135672B/zh active Active
- 2018-12-19 WO PCT/US2018/066599 patent/WO2019126387A1/en unknown
-
2020
- 2020-07-13 US US16/927,887 patent/US11100708B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216970A (ja) * | 2002-01-23 | 2003-07-31 | Canon Inc | 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム |
JP2007072859A (ja) * | 2005-09-08 | 2007-03-22 | Nippon Hoso Kyokai <Nhk> | Cg画像生成装置およびcg画像生成プログラム |
JP2007280046A (ja) * | 2006-04-06 | 2007-10-25 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
JP2017536592A (ja) * | 2014-08-27 | 2017-12-07 | ケアストリーム ヘルス インク | 3次元表面の自動再合成 |
US20170206712A1 (en) * | 2014-11-16 | 2017-07-20 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
Non-Patent Citations (1)
Title |
---|
上田 優子、外3名: ""拡張自由視点画像生成を用いた遠隔移動ロボット操縦インタフェース"", 「電子情報通信学会技術研究報告 信学技報 VOL.112 NO.386」, vol. 第112巻, JPN6021043645, 16 January 2013 (2013-01-16), JP, pages 217 - 222, ISSN: 0004632873 * |
Also Published As
Publication number | Publication date |
---|---|
JP7184901B2 (ja) | 2022-12-06 |
WO2019126387A8 (en) | 2020-11-26 |
CN112135672B (zh) | 2024-06-11 |
EP3727624A1 (en) | 2020-10-28 |
US11100708B2 (en) | 2021-08-24 |
US20190197768A1 (en) | 2019-06-27 |
US10713840B2 (en) | 2020-07-14 |
WO2019126387A1 (en) | 2019-06-27 |
CN112135672A (zh) | 2020-12-25 |
US20200342661A1 (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7184901B2 (ja) | モバイルロボットを用いる動的カメラ位置決め及び照明による空間キャプチャ、モデル化、及び質感再構築 | |
JP6775708B1 (ja) | 空間的な、ユーザを認識している、コンパニオンロボットまたはデバイスからの第2のスクリーンの投影 | |
US11210807B2 (en) | Optimized shadows in a foveated rendering system | |
KR102472152B1 (ko) | 멀티 서버 클라우드 가상 현실 (vr) 스트리밍 | |
US10445925B2 (en) | Using a portable device and a head-mounted display to view a shared virtual reality space | |
CN107735152B (zh) | 用于虚拟现实(vr)观看的扩展视野重新渲染 | |
US11222444B2 (en) | Optimized deferred lighting in a foveated rendering system | |
TWI594174B (zh) | 頭戴顯示器之追蹤系統、方法及裝置 | |
EP2992682B1 (en) | Content generation for interactive video projection systems | |
JP6495896B2 (ja) | ヘッドマウントディスプレイによって与えられる表示の光学表現をユーザの光学的処方に基づいてカスタマイズするシステム及び方法 | |
JP6959365B2 (ja) | 中心窩レンダリングシステムにおけるシャドーの最適化及びメッシュスキンの適応 | |
CN104010706A (zh) | 视频游戏的方向输入 | |
US11107183B2 (en) | Adaptive mesh skinning in a foveated rendering system | |
US20220314112A1 (en) | Adjustable robot for providing scale of virtual assets and identifying objects in an interactive scene | |
US20200219321A1 (en) | Systems and methods to provide views of a virtual space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7184901 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |