JP2021015440A - 情報処理装置、設定方法、及びプログラム - Google Patents
情報処理装置、設定方法、及びプログラム Download PDFInfo
- Publication number
- JP2021015440A JP2021015440A JP2019129614A JP2019129614A JP2021015440A JP 2021015440 A JP2021015440 A JP 2021015440A JP 2019129614 A JP2019129614 A JP 2019129614A JP 2019129614 A JP2019129614 A JP 2019129614A JP 2021015440 A JP2021015440 A JP 2021015440A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- information processing
- unit
- operation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000010365 information processing Effects 0.000 claims description 71
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 46
- 239000000463 material Substances 0.000 description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 description 13
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
Description
本実施形態に係る画像処理システム10の構成例を図1に示す。画像処理システム10は、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
情報処理装置3のハードウェア構成について、図2を用いて説明する。なお、画像処理装置9のハードウェア構成も、以下で説明する情報処理装置3の構成と同様である。あるいは、情報処理装置3のハードウェアに画像処理装置9の機能を統合してもよい。情報処理装置3は、CPU301、ROM302、RAM303、補助記憶装置304、表示I/F305、操作I/F306、通信I/F307、及びバス308を有する。
以下では、仮想視点画像に対応する仮想視点を設定するための操作方法の例を説明する。図3は、操作部1、操作部2、情報処理装置3、表示部4、及び表示部5の具体的なデバイス構成の一例を示した図である。図3の操作部1は、操作卓11にジョイスティック12A及びジョイスティック12Bが取り付けられた構成である。各ジョイスティックの操作に基づいて、操作卓11の電気回路によって操作信号が生成される。操作信号は操作信号ケーブル13によって情報処理装置3へ伝送される。操作部2についても同様に、ジョイスティック22A及びジョイスティック22Bの操作に基づいて操作卓21で生成された操作信号が、操作信号ケーブル23によって情報処理装置3へ伝送される。操作部1と操作部2とは、独立して操作が可能である。例えば図3に示すように、操作部1と操作部2とはそれぞれ物理的に独立したデバイス(操作卓)を有する。
図8のフローチャートを用いて、情報処理装置3の動作について説明する。図8に示す処理は、情報処理装置3のCPU301がROM302に格納されたプログラムをRAM303に展開して実行することで実現される。なお、図8に示す処理の少なくとも一部を、CPU301とは異なる1又は複数の専用のハードウェアにより実現してもよい。図8に示す処理は、画像処理装置9と情報処理装置3とが接続され、仮想視点画像の生成に係る視点操作を行うための指示が情報処理装置3に入力されたタイミングで開始される。ただし、図8に示す処理の開始タイミングはこれに限定されない。また、図8におけるS1001からS1011までの処理ループは、画像処理部7から動画として出力される仮想視点画像の1フレームにつき1回ずつ処理される。
図3に示したデバイス構成は一例であり、制御システム6の構成はこれに限定されない。図9に、制御システム6の変形例を示す。操作部1は、操作卓11Aにジョイスティック12A、操作卓11Bにジョイスティック12Bがそれぞれ取り付けられた構成である。ジョイスティック12Aの操作に基づいて、操作卓11Aの電気回路によって操作信号が生成される。操作信号は操作信号ケーブル13Aによって情報処理装置3へ伝送される。また、ジョイスティック12Bの操作に基づいて、操作卓11Bの電気回路によって操作信号が生成される。操作信号は操作信号ケーブル13Bによって情報処理装置3へ伝送される。操作部2も操作部1と同様に、操作卓21Aに取り付けられたジョイスティック22Aと、操作卓21Bに取り付けられたジョイスティック22Bとを有する。操作卓21Aと操作卓21Bはそれぞれ操作信号ケーブル23Aと操作信号ケーブル23Bに接続される。
以下では、複数の仮想視点画像を生成するために、同じ注目点103に向けた複数の仮想カメラ102を設定することを可能とする制御システム6の例について説明する。図11は、制御システム6の具体的なデバイス構成の一例を示した図である。図11の例においては、1つの操作部1に対して、操作卓21−1、操作卓21−2、及び操作卓21−3という独立した3つの操作卓を有する操作部2が対応付けられている。
以下では、操作部1が独立した複数の操作デバイス(例えば操作卓)を有し、複数の注目点103を設定することを可能とする制御システム6の例について説明する。図14は、制御システム6の具体的なデバイス構成の一例を示した図である。図14の例においては、操作部1は操作卓11−1と操作卓11−2を有し、操作部2は操作卓21−1、操作卓21−2、及び操作卓21−3を有する。ただし、操作部1と操作部2のそれぞれが有する独立した操作デバイスの数はこれに限定されない。
以下では、注目点103を仮想カメラ102の視野内のどこに位置させるか、すなわち仮想視点画像内のどの位置に注目点103を表示させるかを、調整可能とする制御システム6の例について説明する。
2 操作部
3 情報処理装置
102 仮想カメラ
Claims (21)
- 仮想視点画像に対応する仮想視点を設定する情報処理装置であって、
第1操作部に対する操作に応じた入力を受け付ける第1受付手段と、
第2操作部に対する操作に応じた入力を受け付ける第2受付手段と、
前記仮想視点に応じた視野に含まれるべき注目位置を前記第1受付手段により受け付けられた入力に基づいて設定する第1設定手段と、
前記注目位置に対する前記仮想視点の位置と前記仮想視点の向きとを前記第2受付手段により受け付けられた入力に基づいて設定する第2設定手段と、を有することを特徴とする情報処理装置。 - 前記第2設定手段は、前記仮想視点から見て所定の方向に前記注目位置が存在するように、前記注目位置に対する前記仮想視点の位置と前記仮想視点の向きを連動させて設定することを特徴とする請求項1に記載の情報処理装置。
- 前記所定の方向は、前記仮想視点の向きに応じた視線方向であることを特徴とする請求項2に記載の情報処理装置。
- 前記所定の方向は、ユーザ操作に基づいて設定された方向であることを特徴とする請求項2に記載の情報処理装置。
- 第3操作部に対する操作に応じた入力を受け付ける第3受付手段を有し、
前記第1設定手段は、前記第1受付手段により受け付けられた入力と前記第3受付手段により受け付けられた入力とに基づいて3次元空間における前記注目位置を設定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 - 第4操作部に対する操作に応じた入力を受け付ける第4受付手段を有し、
前記第2設定手段は、前記第2受付手段により受け付けられた入力と前記第4受付手段により受け付けられた入力とに基づいて、前記注目位置に対する前記仮想視点の3次元位置と、前記仮想視点のパン方向及びチルト方向における向きとを設定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。 - 前記第2設定手段は、前記第4受付手段により受け付けられた入力に基づいて前記仮想視点のロール方向の向きを設定することを特徴とする請求項6に記載の情報処理装置。
- 前記第2受付手段により受け付けられた入力に基づいて前記仮想視点に応じた視野の画角を設定する第3設定手段を有することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
- 第5操作部に対する操作に応じた入力を受け付ける第5受付手段を有し、
前記第1設定手段は、第1の仮想視点画像に対応する第1の仮想視点に応じた視野と第2の仮想視点画像に対応する第2の仮想視点に応じた視野とに含まれるべき前記注目位置を前記第1受付手段により受け付けられた入力に基づいて設定し、
前記第2設定手段は、前記注目位置に対する前記第1の仮想視点の位置と前記第1の仮想視点の向きとを前記第2受付手段により受け付けられた入力に基づいて設定し、且つ、前記注目位置に対する前記第2の仮想視点の位置と前記第2の仮想視点の向きとを前記第5受付手段により受け付けられた入力に基づいて設定することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。 - 第6操作部に対する操作に応じた入力を受け付ける第6受付手段を有し、
前記第1設定手段は、第1の注目位置を前記第1受付手段により受け付けられた入力に基づいて設定し、且つ、第2の注目位置を前記第6受付手段により受け付けられた入力に基づいて設定し、
前記第2設定手段は、前記第1の注目位置と前記第2の注目位置とを含む複数の注目位置のうち選択された注目位置に対する前記仮想視点の位置と前記仮想視点の向きとを、前記第2受付手段により受け付けられた入力に基づいて設定することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。 - 前記第1操作部と前記第2操作部は、それぞれ別個の筐体に備えられた操作部であることを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
- 前記第1操作部と前記第2操作部はそれぞれ別個のジョイスティックであることを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
- 前記第1操作部に対する操作に基づいて設定された前記注目位置を示す画像を第1の表示部に表示させる第1表示制御手段と、
前記第1操作部に対する操作と前記第2操作部に対する操作とに基づいて設定された前記仮想視点の位置及び向きに応じた画像を第2の表示部に表示させる第2表示制御手段と、を有することを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。 - 前記第1の表示部と前記第2の表示部は、それぞれ別個の表示装置の表示部であることを特徴とする請求項13に記載の情報処理装置。
- 前記第1の表示部と前記第2の表示部は、同一の表示装置のそれぞれ異なる表示領域であることを特徴とする請求項13に記載の情報処理装置。
- 前記操作部に対する操作と前記第2操作部に対する操作とに基づいて設定された前記仮想視点の位置及び向きを示す情報を、前記仮想視点画像を生成する生成手段へ出力することを特徴とする請求項1乃至15の何れか1項に記載の情報処理装置。
- 前記生成手段は、複数の撮像装置により撮像領域をそれぞれ異なる方向から撮像することで得られる複数の画像と、前記仮想視点の位置及び向きを示す情報とに基づいて、前記仮想視点画像を生成することを特徴とする請求項16に記載の情報処理装置。
- 仮想視点画像に対応する仮想視点の位置及び向きを設定する設定方法であって、
前記仮想視点に応じた視野に含まれるべき注目位置を第1操作部に対する操作に基づいて設定し、且つ、前記注目位置に対する前記仮想視点の位置と前記仮想視点の向きとを第2操作部に対する操作に基づいて設定することを特徴とする設定方法。 - 前記仮想視点から見て所定の方向に前記注目位置が存在するように、前記注目位置に対する前記仮想視点の位置と前記仮想視点の向きを連動させて設定することを特徴とする請求項18に記載の設定方法。
- 前記注目位置を、前記第1の操作部に対する第1のユーザによる操作に基づいて設定し、
前記注目位置に対する前記仮想視点の位置と前記仮想視点の向きとを、前記第2の操作部に対する第2のユーザによる操作に基づいて設定することを特徴とする請求項18又は19に記載の設定方法。 - コンピュータを、請求項1乃至17の何れか1項に記載の情報処理装置として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129614A JP7455524B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、設定方法、及びプログラム |
US16/922,913 US11606503B2 (en) | 2019-07-11 | 2020-07-07 | Information processing apparatus, setting method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129614A JP7455524B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、設定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021015440A true JP2021015440A (ja) | 2021-02-12 |
JP7455524B2 JP7455524B2 (ja) | 2024-03-26 |
Family
ID=74103381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019129614A Active JP7455524B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、設定方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11606503B2 (ja) |
JP (1) | JP7455524B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7418101B2 (ja) * | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015001635A1 (ja) * | 2013-07-03 | 2015-01-08 | 株式会社日立製作所 | 遠隔モニタリングシステムおよびモニタリング方法 |
WO2018199052A1 (ja) * | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像表示方法及び画像表示装置 |
WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6539253B2 (ja) * | 2016-12-06 | 2019-07-03 | キヤノン株式会社 | 情報処理装置、その制御方法、およびプログラム |
US10594786B1 (en) * | 2017-01-10 | 2020-03-17 | Lucasfilm Entertainment Company Ltd. | Multi-device interaction with an immersive environment |
-
2019
- 2019-07-11 JP JP2019129614A patent/JP7455524B2/ja active Active
-
2020
- 2020-07-07 US US16/922,913 patent/US11606503B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015001635A1 (ja) * | 2013-07-03 | 2015-01-08 | 株式会社日立製作所 | 遠隔モニタリングシステムおよびモニタリング方法 |
WO2018199052A1 (ja) * | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像表示方法及び画像表示装置 |
WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7455524B2 (ja) | 2024-03-26 |
US11606503B2 (en) | 2023-03-14 |
US20210014425A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7433760B2 (en) | Camera and animation controller, systems and methods | |
JP3311830B2 (ja) | 3次元動画作成装置 | |
JP5861499B2 (ja) | 動画提示装置 | |
US20040041822A1 (en) | Image processing apparatus, image processing method, studio apparatus, storage medium, and program | |
JP6670794B2 (ja) | 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理方法 | |
JP2024050721A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
WO2004045734A1 (ja) | ゲーム画像の表示制御プログラム及びゲーム装置並びに記憶媒体 | |
JP7459341B2 (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
US20190080495A1 (en) | Method, system and apparatus for navigating a virtual camera using a navigation device | |
KR20210136858A (ko) | 화상표시장치, 제어방법, 및 프로그램 | |
JP2021013095A (ja) | 画像処理装置、表示方法、及び、プログラム | |
CN112640472A (zh) | 信息处理设备、信息处理方法和程序 | |
JP3496205B2 (ja) | ゲーム機における球技ゲームでの視点変更方法 | |
JP7455524B2 (ja) | 情報処理装置、設定方法、及びプログラム | |
JP2020205549A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP2024019537A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020135130A (ja) | 画像表示装置、画像表示装置の制御方法及びプログラム | |
WO2021200494A1 (ja) | 仮想空間における視点変更方法 | |
JP2020102687A (ja) | 情報処理装置、画像処理装置、画像処理方法、及びプログラム | |
Soares et al. | Collaborative hybrid virtual environment | |
JP2010125040A (ja) | 画像処理装置 | |
JP2022083816A (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2024014517A (ja) | 情報処理システム、情報処理方法及びコンピュータプログラム | |
JP2024058941A (ja) | 制御装置、制御方法及びコンピュータプログラム | |
JP2023003765A (ja) | 画像生成装置およびその制御方法、画像生成システム、ならびにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7455524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |