JP2019197409A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2019197409A JP2019197409A JP2018091404A JP2018091404A JP2019197409A JP 2019197409 A JP2019197409 A JP 2019197409A JP 2018091404 A JP2018091404 A JP 2018091404A JP 2018091404 A JP2018091404 A JP 2018091404A JP 2019197409 A JP2019197409 A JP 2019197409A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- speed
- image
- display control
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
実施形態1では、仮想視点の速度に応じたオブジェクトの表示制御の一例として、オブジェクトの通常表示と例外表示の切り替えを説明する。以下の実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。
図1に、本実施形態における仮想視点画像生成システムを説明するための図を示す。図1(a)は、仮想視点画像生成システムの構成図である。仮想視点画像生成システムは、N個のセンサシステム101a、101b、101c、…101nを含む。特に説明がない場合は、N個のセンサシステム101a、101b、101c、…101nは区別せず、センサシステム101と記載する。センサシステム101は、それぞれカメラとマイク(不図示)を有する。センサシステム101の各カメラは、同期し画像を撮影することができる。また、センサシステム101の各マイクは、同期し音声を集音することができる。画像記録装置102は、センサシステム101から画像及び音声を取得し、データベース103に書き込む。仮想視点操作UI(ユーザインタフェース)105は、ジョイスティック、ジョグダイヤル、タッチパネル等であり、仮想視点の移動や回転などの操作が可能な入力装置である。
次に、図2を参照して、画像処理装置104の構成を説明する。図2(a)は、画像処理装置104の機能構成図である。パラメータ取得部201は、仮想視点操作UI105から、仮想視点パラメータを取得する。仮想視点パラメータは、仮想視点を指定するためのパラメータ(値)であり、仮想視点(仮想カメラ)の位置や向き(姿勢)に関するパラメータが含まれる。またこれに限らず、仮想視点パラメータには仮想視点の焦点距離に関するパラメータなどが含まれてもよい。パラメータ取得部201は、仮想視点パラメータを、仮想視点画像のフレーム毎に取得する。三次元モデル生成部202は、データベース103より取得した撮影画像を基に、三次元モデルを生成する。三次元モデルは、例えばVisual Hullなどの形状推定方法により生成され、点群で構成されるものとする。ただしモデルの生成方法はこれに限定されず、三次元モデルはポリゴンなどで構成されてもよい。
図3を用いて仮想視点の動き(変化)について説明する。概要として、仮想視点の動きは、仮想視点の移動と回転の組み合わせとなる。また、単位時間当たりの仮想視点の変化量が仮想視点速度となり、速度取得部204により算出される。仮想視点速度は、図4を用いて後述するオブジェクト表示制御で使用される。
図4を参照して、仮想視点速度に応じたオブジェクトの表示制御について説明する。図4は、本実施形態における表示制御のフローチャートである。
実施形態2では、仮想視点の速度に加え、オブジェクトの速度に応じた表示制御について説明する。本実施形態において、仮想画像視点生成システムの構成は図1、画像処理装置104の構成は図2と同様であるため、説明を省略する。また、仮想視点の速度(仮想視点速度)は、図3を参照して説明したように算出される。
図6を参照して、オブジェクトの動きと速度、および、オブジェクトの見かけ上の動きと速度について説明する。図6は、オブジェクトの見かけ上の動きと速度を説明する図である。概要としては、本実施形態において、オブジェクトの見かけ上の動きは、仮想視点の動きと、オブジェクトの動きの組み合わせとなる。そして、オブジェクトの見かけ上の動きの変化量が、オブジェクトの見かけ上の速度(オブジェクトの擬似速度と呼ぶ)となる。 言い換えると、オブェクトの擬似速度は、仮想視点の速度(仮想視点速度)と、オブジェクトの速度(オブジェクト速度)を合わせたものと表すこともできる。このオブジェクトの擬似速度は、後述する図7に示すオブジェクトの表示制御で使用される。
図7を参照して、仮想視点速度とオブジェクト速度に応じたオブジェクトの表示制御を説明する。図7は、本実施形態における表示制御のフローチャートである。
実施形態3では、仮想視点速度とオブジェクト速度に応じた、オブジェクト上書き制御について説明する。オブジェクト上書き制御とは、上記に説明した実施形態1と実施形態2における通常表示と例外表示の切り替えと異なる、オブジェクト表示制御の一実施形態である。概要としては、仮想視点速度を考慮して、三次元空間上のオブジェクト速度を変更し、その速度で元のオブジェクトを上書きする処理である。この処理が実行された場合、ユーザは、仮想視点画像で元のオブジェクトは見えず、速度変更されたオブジェクトが見えることになる。
図9を参照して、仮想視点速度とオブジェクト速度に応じた、オブジェクトの上書き制御を説明する。図9は、本実施形態における表示制御(オブジェクトの上書き制御)のフローチャートである。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (12)
- 画像処理装置であって、
設定された仮想視点に対応する仮想視点画像を生成する生成手段と、
前記仮想視点画像に含まれる1つ以上の表示制御対象のオブジェクトを指定する指定手段と、
前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの表示態様を制御する表示制御手段と、
を有することを特徴とする画像処理装置。 - 前記仮想視点の速度が所定の閾値より大きいか否かを判定する判定手段を更に有し、
前記表示制御手段は、前記判定手段により前記仮想視点の速度が前記所定の閾値未満であると判定された場合に、前記指定されたオブジェクトを通常通りに表示し、前記判定手段により前記仮想視点の速度が所定の閾値以上であると判定された場合に、前記指定されたオブジェクトを通常通りに表示しないことを特徴とする請求項1に記載の画像処理装置。 - 前記仮想視点の速度は、前記仮想視点の移動の変化量の1以上の所定の方向における大きさであることを特徴とする請求項1または2に記載の画像処理装置。
- 前記表示制御手段は、前記仮想視点の速度と前記指定されたオブジェクトの速度とを合わせた、前記指定されたオブジェクトの擬似速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの表示態様を制御することを特徴とする請求項1に記載の画像処理装置。
- 前記指定されたオブジェクトの擬似速度が所定の閾値より大きいか否かを判定する判定手段を更に有し、
前記表示制御手段は、前記判定手段により前記擬似速度が前記所定の閾値未満であると判定された場合に、前記指定されたオブジェクトを通常通りに表示し、前記判定手段により前記擬似速度が前記所定の閾値以上であると判定された場合に、前記指定されたオブジェクトを通常通りに表示しないことを特徴とする請求項4に記載の画像処理装置。 - 前記指定されたオブジェクトの擬似速度は、前記仮想視点の移動の変化量と前記オブジェクトの移動の変化量それぞれの1以上の所定の方向における大きさを合せたものであることを特徴とする請求項4または5に記載の画像処理装置。
- 前記指定されたオブジェクトを通常通りに表示しないことは、前記指定されたオブジェクトを非表示すること、前記指定されたオブジェクトの透過度を上げること、グレーアウトすること、解像度を下げること、のいずれかを含むことを特徴とする請求項2または5に記載の画像処理装置。
- 前記指定されたオブジェクトを通常通りに表示しないことは、前記指定されたオブジェクトの部分に、前記指定されたオブジェクトの内容を示す画像データを、前記指定されたオブジェクトの速度と前記仮想視点の速度から算出される速度で表示することを含むことを特徴とする請求項2または5に記載の画像処理装置。
- 前記指定手段は、前記仮想視点画像に含まれる前景または背景に含まれる対象物を、前記表示制御対象のオブジェクトとして指定することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記指定手段は、前記仮想視点画像に挿入される仮想オブジェクトを、前記表示制御対象のオブジェクトとして指定することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 画像処理方法であって、
設定された仮想視点に対応する仮想視点画像を生成する生成工程と、
前記仮想視点画像に含まれる1つ以上の表示制御対象のオブジェクトを指定する指定工程と、
前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの表示態様を制御する表示制御工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から10のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018091404A JP7152873B2 (ja) | 2018-05-10 | 2018-05-10 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018091404A JP7152873B2 (ja) | 2018-05-10 | 2018-05-10 | 画像処理装置、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019197409A true JP2019197409A (ja) | 2019-11-14 |
JP7152873B2 JP7152873B2 (ja) | 2022-10-13 |
Family
ID=68537528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018091404A Active JP7152873B2 (ja) | 2018-05-10 | 2018-05-10 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7152873B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09115000A (ja) * | 1995-10-13 | 1997-05-02 | Hitachi Ltd | リアルタイムシミュレーション装置および映像生成方法 |
JP2003058912A (ja) * | 2001-05-18 | 2003-02-28 | Sony Computer Entertainment Inc | 表示装置及び画像処理方法 |
US20170053456A1 (en) * | 2015-08-19 | 2017-02-23 | Electronics And Telecommunications Research Institute | Method and apparatus for augmented-reality rendering on mirror display based on motion of augmented-reality target |
JP2018045459A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
-
2018
- 2018-05-10 JP JP2018091404A patent/JP7152873B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09115000A (ja) * | 1995-10-13 | 1997-05-02 | Hitachi Ltd | リアルタイムシミュレーション装置および映像生成方法 |
JP2003058912A (ja) * | 2001-05-18 | 2003-02-28 | Sony Computer Entertainment Inc | 表示装置及び画像処理方法 |
US20170053456A1 (en) * | 2015-08-19 | 2017-02-23 | Electronics And Telecommunications Research Institute | Method and apparatus for augmented-reality rendering on mirror display based on motion of augmented-reality target |
JP2018045459A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7152873B2 (ja) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8007110B2 (en) | Projector system employing depth perception to detect speaker position and gestures | |
US10585283B2 (en) | Head mounted display and control method therefor | |
US9858643B2 (en) | Image generating device, image generating method, and program | |
CN110322542B (zh) | 重建真实世界3d场景的视图 | |
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
US10755675B2 (en) | Image processing system, image processing method, and computer program | |
WO2019159617A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN108292489A (zh) | 信息处理装置和图像生成方法 | |
US20180181358A1 (en) | Apparatus, system, and method for controlling display, and recording medium | |
JP7378243B2 (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
JP2018110375A (ja) | 表示装置、プログラム、表示方法 | |
WO2020084951A1 (ja) | 画像処理装置および画像処理方法 | |
JP7392105B2 (ja) | 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体 | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2020173529A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113286138A (zh) | 一种全景视频显示方法及显示设备 | |
CN115661408A (zh) | 在人工现实环境中生成和修改手的表示 | |
JP2022032483A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR20120008191A (ko) | 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기 | |
CN111712859B (zh) | 用于生成视图图像的装置和方法 | |
JP2018109946A (ja) | 表示装置、プログラム、表示方法 | |
US11212502B2 (en) | Method of modifying an image on a computational device | |
JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN116744065A (zh) | 视频播放方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220930 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7152873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |