JP2018022292A - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents
情報処理装置、情報処理装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2018022292A JP2018022292A JP2016152286A JP2016152286A JP2018022292A JP 2018022292 A JP2018022292 A JP 2018022292A JP 2016152286 A JP2016152286 A JP 2016152286A JP 2016152286 A JP2016152286 A JP 2016152286A JP 2018022292 A JP2018022292 A JP 2018022292A
- Authority
- JP
- Japan
- Prior art keywords
- model
- finger
- processing apparatus
- information processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims description 44
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 230000002093 peripheral effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
撮像画像から手指領域を抽出する抽出手段と、
前記手指領域から手指モデルを生成する生成手段と、
前記手指モデルと前記撮像画像に重畳されるCGモデルとの衝突判定を行う判定手段と、
前記衝突判定の結果に基づいて前記手指モデルの表示形態を制御する制御手段と、
を備えることを特徴とする。
第1の実施形態では、撮像画像から手指領域を抽出し、手指領域から手指モデルを生成し、手指モデルと撮像画像に重畳されるCGモデル(例えばバーチャル映像の消しゴム)との衝突判定の結果に基づいて手指モデルの表示形態を制御する例を説明する。具体的には、衝突が起こる場合、手指モデルの表示位置および形状の少なくとも一方を変更して(変形移動して)衝突を回避するように調整を行う。これにより、利用者の操作感を損なうことなくCGモデルを操作することが可能となる。また、撮像画像における手指領域を除去して、当該除去された領域をインペインティングする処理を行う。これにより、手指モデルとズレが生じた現実の手指を隠すことができ、より操作感を損なうことなくCGモデルを操作できるようになる。
図1に本実施形態に係る撮像部を制御する情報処理装置のブロック図を示す。本実施形態では、図1に示すように、撮像部100及び表示部200が、情報処理装置1000と接続されている。撮像部100は、例えば、ビデオシースルー型HMD(Head−Mounted Display)やネットワークカメラである。表示部200は、例えばHMDやPC(Personal Computer)モニタなどのディスプレイである。
まず、図4は、第1の実施形態に係る手指モデル生成部1040の処理の手順を示すフローチャートである。ステップS2110では、手指モデル生成部1040は、画像取得部1010を介して撮像部100が撮像している画像を取得する。例えば、画像取得部1010は、撮像部100から得られた画像を取得するビデオキャプチャカードである。
第1の実施形態では、現実空間に対してインペインティングを行う例を説明した。これに対して、第2の実施形態では、撮像画像におけるCGモデルの表面に手指の操作状態を表示することにより、撮像画像をインペインティングせずに、CGモデルをどのように操作しているか利用者に提示する例を説明する。
図11は、第2の実施形態の画像処理部1070の処理の手順を示すフローチャートである。ステップS2410では、画像処理部1070は、変形前後の手指モデルに挟まれるCGモデル面を検出して取得する。具体的には、まず、図12に示すような変形前後の手指モデルを包括するモデルを生成する。例えば、変形前の手指モデルの頂点と変形後の手指モデルの頂点を結ぶことで側面に新たな平面を形成したモデルを生成する。次に、生成した手指モデルとCGモデルに対してDepth Peeling(深度剥離)を行うことにより、変形前の手指モデルと変形後の手指モデルとの間に存在するCGモデル面を検出する。
第1の実施形態では、手指モデルの変形移動に合わせてインペインティングする際に、二次元の画像情報に基づいて補完処理を行う例を説明した。これに対して、第3の実施形態では、現実空間の三次元再構成データを生成し、当該三次元再構成データを用いて補完を行うことにより、現実空間に基づいた撮像画像の補完を行う例を説明する。
図15は、本実施形態に係る情報処理装置2000の概略構成を示している。第3の実施形態では、第1の実施形態の構成に加えて、三次元再構成部2010が追加されている。三次元再構成部2010は、データ記憶部1020から撮像部100の位置姿勢と撮像画像を取得し、これらの情報を用いて現実物体の三次元点群を生成する。また、生成した三次元点群および色情報をデータ記憶部1020に記憶する。なお、位置姿勢推定部1030は、三次元再構成部2010により抽出された特徴点を用いて位置合わせを行う。
図16は、本実施形態に係る三次元再構成部2010、および位置姿勢推定部1030の処理の手順を示すフローチャートである。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (11)
- 撮像画像から手指領域を抽出する抽出手段と、
前記手指領域から手指モデルを生成する生成手段と、
前記手指モデルと前記撮像画像に重畳されるCGモデルとの衝突判定を行う判定手段と、
前記衝突判定の結果に基づいて前記手指モデルの表示形態を制御する制御手段と、
を備えることを特徴とする情報処理装置。 - 前記制御手段は、前記衝突判定の結果に基づいて前記手指モデルの表示位置および形状の少なくとも一方を制御することを特徴とする請求項1に記載の情報処理装置。
- 前記撮像画像の前記手指領域を除去して、当該除去された領域をインペインティングする処理を行う処理手段をさらに備えることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記処理手段は、前記除去された領域を、前フレームの画像で補完する処理を行うことを特徴とする請求項3に記載の情報処理装置。
- 前記処理手段は、前記除去された領域を、前記手指領域の周辺画素のテクスチャで補完する処理を行うことを特徴とする請求項3に記載の情報処理装置。
- 前記撮像画像における前記CGモデルの表面に手指の操作状態を表示する処理を行う処理手段をさらに備えることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記処理手段は、前記制御手段による前記表示形態の制御の前後の前記手指モデルに挟まれる前記CGモデルの面を取得し、当該面上の手指モデルを強調表示することにより、前記操作状態を表示する処理を行うことを特徴とする請求項6に記載の情報処理装置。
- 前記処理手段は、前記操作状態を表示する処理と共に、前記手指領域を半透明表示する処理を行うことを特徴とする請求項6又は7に記載の情報処理装置。
- 現実空間の三次元再構成データを取得する再構成手段と、
前記撮像画像の前記手指領域を除去して、当該手指領域を、前記三次元再構成データを用いて補完する処理を行う処理手段と、
をさらに備えることを特徴とする請求項1又は2に記載の情報処理装置。 - 情報処理装置の制御方法であって、
撮像画像から手指領域を抽出する抽出工程と、
前記手指領域から手指モデルを生成する生成工程と、
前記手指モデルと前記撮像画像に重畳されるCGモデルとの衝突判定を行う判定工程と、
前記衝突判定の結果に基づいて前記手指モデルの表示形態を制御する制御工程と、
を有することを特徴とする情報処理装置の制御方法。 - コンピュータを、請求項1乃至9の何れか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016152286A JP6857980B2 (ja) | 2016-08-02 | 2016-08-02 | 情報処理装置、情報処理装置の制御方法およびプログラム |
US15/660,532 US10140777B2 (en) | 2016-08-02 | 2017-07-26 | Information processing apparatus, method of controlling information processing apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016152286A JP6857980B2 (ja) | 2016-08-02 | 2016-08-02 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018022292A true JP2018022292A (ja) | 2018-02-08 |
JP2018022292A5 JP2018022292A5 (ja) | 2019-09-05 |
JP6857980B2 JP6857980B2 (ja) | 2021-04-14 |
Family
ID=61071743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016152286A Active JP6857980B2 (ja) | 2016-08-02 | 2016-08-02 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10140777B2 (ja) |
JP (1) | JP6857980B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020013035A (ja) * | 2018-07-19 | 2020-01-23 | 三菱重工業株式会社 | 訓練装置、訓練システム、訓練方法、及びプログラム |
WO2021145244A1 (ja) * | 2020-01-16 | 2021-07-22 | ソニーグループ株式会社 | 表示装置、画像生成方法及びプログラム |
JP2022146938A (ja) * | 2021-03-22 | 2022-10-05 | アップル インコーポレイテッド | 遮られた物理的オブジェクトの位置を示すこと |
WO2023095519A1 (ja) * | 2021-11-26 | 2023-06-01 | ソニーグループ株式会社 | 表示制御装置、表示制御方法、及びプログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10510186B2 (en) | 2017-12-22 | 2019-12-17 | Adobe Inc. | Digital media environment for intuitive modifications of digital graphics |
US10388045B2 (en) | 2018-01-04 | 2019-08-20 | Adobe Inc. | Generating a triangle mesh for an image represented by curves |
US10832446B2 (en) * | 2019-01-07 | 2020-11-10 | Adobe Inc. | Bone handle generation |
US10943375B2 (en) | 2019-04-17 | 2021-03-09 | Adobe Inc. | Multi-state vector graphics |
CN113014846B (zh) * | 2019-12-19 | 2022-07-22 | 华为技术有限公司 | 一种视频采集控制方法、电子设备、计算机可读存储介质 |
US11941746B2 (en) * | 2021-09-03 | 2024-03-26 | Adobe Inc. | Accurate smooth occluding contours |
US11631207B2 (en) | 2021-09-09 | 2023-04-18 | Adobe Inc. | Vector object stylization from raster objects |
IT202100030014A1 (it) * | 2021-11-26 | 2023-05-26 | Luxottica Group S P A | Procedimento interamente virtuale per misurazioni di grandezze optometriche. |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11103447A (ja) * | 1997-08-01 | 1999-04-13 | Sony Corp | 動画像の修復方法及び装置並びに提供媒体 |
JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
JP2005293142A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | 画像処理方法および画像処理装置 |
US20090144664A1 (en) * | 1997-05-12 | 2009-06-04 | Immersion Corporation, A Delaware Corporation | System And Method For Constraining A Graphical Hand From Penetrating Simulated Graphical Objects |
JP2015082312A (ja) * | 2013-10-24 | 2015-04-27 | 富士通株式会社 | 写像処理プログラム、方法及び装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105814611B (zh) * | 2013-12-17 | 2020-08-18 | 索尼公司 | 信息处理设备和方法以及非易失性计算机可读存储介质 |
JP6417702B2 (ja) * | 2014-05-01 | 2018-11-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
-
2016
- 2016-08-02 JP JP2016152286A patent/JP6857980B2/ja active Active
-
2017
- 2017-07-26 US US15/660,532 patent/US10140777B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090144664A1 (en) * | 1997-05-12 | 2009-06-04 | Immersion Corporation, A Delaware Corporation | System And Method For Constraining A Graphical Hand From Penetrating Simulated Graphical Objects |
JPH11103447A (ja) * | 1997-08-01 | 1999-04-13 | Sony Corp | 動画像の修復方法及び装置並びに提供媒体 |
JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
JP2005293142A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | 画像処理方法および画像処理装置 |
JP2015082312A (ja) * | 2013-10-24 | 2015-04-27 | 富士通株式会社 | 写像処理プログラム、方法及び装置 |
Non-Patent Citations (1)
Title |
---|
鈴木奏太、佐藤美恵: "擬似触覚を用いた立体視可能な仮想物体の掴み動作に関する検討", 映像情報メディア学会技術報告, vol. 第39巻 第39号, JPN6020031232, 29 October 2015 (2015-10-29), JP, pages 25 - 28, ISSN: 0004380476 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020013035A (ja) * | 2018-07-19 | 2020-01-23 | 三菱重工業株式会社 | 訓練装置、訓練システム、訓練方法、及びプログラム |
WO2021145244A1 (ja) * | 2020-01-16 | 2021-07-22 | ソニーグループ株式会社 | 表示装置、画像生成方法及びプログラム |
JP2022146938A (ja) * | 2021-03-22 | 2022-10-05 | アップル インコーポレイテッド | 遮られた物理的オブジェクトの位置を示すこと |
JP7384951B2 (ja) | 2021-03-22 | 2023-11-21 | アップル インコーポレイテッド | 遮られた物理的オブジェクトの位置を示すこと |
US11836871B2 (en) | 2021-03-22 | 2023-12-05 | Apple Inc. | Indicating a position of an occluded physical object |
WO2023095519A1 (ja) * | 2021-11-26 | 2023-06-01 | ソニーグループ株式会社 | 表示制御装置、表示制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6857980B2 (ja) | 2021-04-14 |
US20180040169A1 (en) | 2018-02-08 |
US10140777B2 (en) | 2018-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6857980B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP6644833B2 (ja) | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 | |
CN109561296B (zh) | 图像处理装置、图像处理方法、图像处理系统和存储介质 | |
US9855496B2 (en) | Stereo video for gaming | |
KR102317247B1 (ko) | 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법 | |
US9019267B2 (en) | Depth mapping with enhanced resolution | |
US10019839B2 (en) | Three-dimensional object scanning feedback | |
US20080204453A1 (en) | Method and apparatus for generating three-dimensional model information | |
CN111243093A (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
CN110956695B (zh) | 信息处理装置、信息处理方法和存储介质 | |
KR20110032351A (ko) | 영상 처리 장치 및 방법 | |
JP2010079453A5 (ja) | ||
JP2018129007A (ja) | 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム | |
JP2016071645A (ja) | オブジェクト3次元モデル復元方法、装置およびプログラム | |
KR20200000106A (ko) | 객체의 3차원 모델을 복원하는 방법 및 장치 | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
KR20060131145A (ko) | 이차원 영상을 이용한 삼차원 물체의 렌더링 방법 | |
CN112905014A (zh) | Ar场景下的交互方法、装置、电子设备及存储介质 | |
Liu et al. | 3d head pose estimation based on scene flow and generic head model | |
KR101696007B1 (ko) | 3d 몽타주 생성 장치 및 방법 | |
JP2019046472A (ja) | 画像処理装置、画像処理方法 | |
JP2019046096A (ja) | 情報処理装置及びその方法 | |
JP6641313B2 (ja) | 領域抽出装置及びプログラム | |
JP7321029B2 (ja) | キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 | |
US20240096041A1 (en) | Avatar generation based on driving views |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190724 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210323 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6857980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |