JP2022105590A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP2022105590A JP2022105590A JP2022079106A JP2022079106A JP2022105590A JP 2022105590 A JP2022105590 A JP 2022105590A JP 2022079106 A JP2022079106 A JP 2022079106A JP 2022079106 A JP2022079106 A JP 2022079106A JP 2022105590 A JP2022105590 A JP 2022105590A
- Authority
- JP
- Japan
- Prior art keywords
- information
- virtual
- viewpoint
- information processing
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 84
- 238000003672 processing method Methods 0.000 title claims 4
- 238000000034 method Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 description 59
- 238000004891 communication Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 15
- 238000004040 coloring Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Abstract
Description
図1は、本実施形態に係る画像処理システム100の全体構成図である。画像処理システム100は、複数の撮影装置による撮影に基づく画像と、指定された仮想視点とに基づいて、指定された仮想視点からの視界を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて画像処理システム100により自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、画像処理システム100により処理される仮想視点画像は静止画であってもよい。
以下では、情報処理装置3が、解析部303において仮想カメラ情報を解析し、情報生成部304において解析結果にもとづく提示情報を生成する処理について、具体例を用いて説明する。
上記の説明では、多くのユーザにより注目されたオブジェクトを解析により特定して、注目オブジェクトを識別可能とする情報を提示する例について説明した。これに対して、以下では、多くの仮想カメラの視線がある範囲に集中した時間、即ち多くのユーザにより注目されたシーンを解析により特定して、注目シーンを識別可能とする情報を提示する例について説明する。以下の説明において、前述の注目オブジェクトの解析に係る処理フローと同様の処理や対象については同符号を用いており、説明を省略する。
以上の説明では、仮想カメラを指定する複数のユーザにより注目された対象のオブジェクトやシーンを特定して、当該注目対象を識別可能とする情報を提示する例について説明した。ただし、注目対象を特定した結果の利用方法は、上述した情報の定時に限られない。以下では、注目対象を特定した結果を用いてハイライト画像を生成する例について説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC等)によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
1 複数視点画像保持部
2 被写体情報保持部
3 情報処理装置
4 ユーザ端末
Claims (20)
- 複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する、指定された仮想視点に関する視点情報を取得する取得手段と、
前記複数の撮影画像の少なくとも何れかに含まれるオブジェクトであって、前記取得手段により取得される視点情報によって特定される仮想視点の視界内の範囲に含まれるオブジェクトを判定する判定手段と、
前記取得手段により取得される視点情報によって特定される複数の仮想視点についての前記判定手段による判定結果に応じた情報を提示する提示手段とを有することを特徴とする情報処理装置。 - 前記提示手段により提示される前記情報は、同一のオブジェクトを視界内の範囲に含む仮想視点の数に応じた情報であることを特徴とする請求項1に記載の情報処理装置。
- 前記判定手段は、前記複数の撮影画像の少なくとも何れかに含まれる1以上の所定のオブジェクトの位置情報と、前記取得手段により取得される視点情報とに基づいて、前記仮想視点の視界内の範囲に含まれるオブジェクトを判定することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記判定手段は、前記取得手段により取得される視点情報によって特定される仮想視点に対応する仮想視点画像に基づいて、前記仮想視点の視界内の範囲に含まれるオブジェクトを判定することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記判定手段による判定の対象となるオブジェクトは、人物又は人物の部位であることを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
- 前記提示手段は、画像の表示又は音の再生により前記判定結果に応じた情報を提示することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
- 複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する、指定された仮想視点に関する視点情報を取得する取得手段と、
前記複数の撮影装置の撮影範囲の少なくとも何れかに含まれる領域であって、前記取得手段により取得される視点情報によって特定される仮想視点の視界内の範囲に含まれる領域を判定する判定手段と、
前記取得手段により取得される視点情報によって特定される複数の仮想視点についての前記判定手段による判定結果に基づいて、前記複数の撮影画像の撮影期間内の1以上の時点又は期間であって複数の仮想視点の視界内の範囲に含まれる注目領域が存在する時点又は期間に関する情報を生成する情報生成手段とを有することを特徴とする情報処理装置。 - 前記情報生成手段により生成される前記情報は、前記複数の撮影装置の撮影範囲の少なくとも何れかに含まれる同一の注目領域が閾値以上の数の仮想視点の視界内の範囲に含まれる時点又は期間を特定する情報であることを特徴とする請求項7に記載の情報処理装置。
- 前記閾値は、予め定められた値、又は前記判定手段による判定結果に基づいて決まる値であることを特徴とする請求項8に記載の情報処理装置。
- 前記情報生成手段により生成される情報に基づいて、前記撮影期間内の部分期間であって当該情報により特定される部分期間に対応する仮想視点画像を生成する画像生成手段を有することを特徴とする請求項7乃至9の何れか1項に記載の情報処理装置。
- 前記情報生成手段により生成される情報に基づいて、前記撮影期間内の部分期間であって当該情報により特定される部分期間に対応する仮想視点画像であり、且つ、前記閾値以上の数の仮想視点の視界内の範囲に含まれる領域の画像を含む仮想視点画像を生成する画像生成手段を有することを特徴とする請求項8又は9に記載の情報処理装置。
- 前記情報生成手段により生成される情報に基づいて、当該情報により特定される時点又は期間と当該時点又は期間に対応するイベントとを示す情報を提示する提示手段を有することを特徴とする請求項7乃至11の何れか1項に記載の情報処理装置。
- 前記判定手段は、前記複数の撮影装置の撮影範囲の少なくとも何れかに含まれる所定のオブジェクトに対応する領域であって、前記取得手段により取得される視点情報によって特定される仮想視点の視界内の範囲に含まれる領域を判定することを特徴とする請求項7乃至12の何れか1項に記載の情報処理装置。
- 前記仮想視点の視界内の範囲は、当該仮想視点の視界に対応する範囲の一部分であることを特徴とする請求項1乃至13の何れか1項に記載の情報処理装置。
- 前記取得手段により取得される視点情報によって特定される複数の仮想視点は、複数のユーザに対応する複数の仮想視点を含むことを特徴とする請求項1乃至14の何れか1項に記載の情報処理装置。
- 前記取得手段により取得される視点情報によって特定される複数の仮想視点は、複数の異なる時点に対応する複数の仮想視点を含むことを特徴とする請求項1乃至15の何れか1項に記載の情報処理装置。
- 複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する、指定された仮想視点に関する視点情報を取得する取得工程と、
前記複数の撮影画像の少なくとも何れかに含まれるオブジェクトであって、前記取得工程において取得される視点情報によって特定される仮想視点の視界内の範囲に含まれるオブジェクトを判定する判定工程と、
前記取得工程において取得される視点情報によって特定される複数の仮想視点についての前記判定工程における判定結果に応じた情報を提示する提示工程とを有することを特徴とする情報処理方法。 - 複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する、指定された仮想視点に関する視点情報を取得する取得工程と、
前記複数の撮影装置の撮影範囲の少なくとも何れかに含まれる領域であって、前記取得工程において取得される視点情報によって特定される仮想視点の視界内の範囲に含まれる領域を判定する判定工程と、
前記取得工程において取得される視点情報によって特定される複数の仮想視点についての前記判定工程における判定結果に基づいて、前記複数の撮影画像の撮影期間内の1以上の時点又は期間であって複数の仮想視点の視界内の範囲に含まれる注目領域が存在する時点又は期間に関する情報を生成する情報生成工程とを有することを特徴とする情報処理方法。 - 前記情報生成工程において生成される情報に基づいて、前記撮影期間内の部分期間であって当該情報により特定される部分期間に対応する仮想視点画像であり、且つ、閾値以上の数の仮想視点の視界内の範囲に含まれる領域の画像を含む仮想視点画像を生成する画像生成工程を有することを特徴とする請求項18に記載の情報処理方法。
- コンピュータを、請求項1乃至16の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022079106A JP7422468B2 (ja) | 2018-05-09 | 2022-05-12 | 情報処理装置、情報処理方法、及び、プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090314A JP2019197340A (ja) | 2018-05-09 | 2018-05-09 | 情報処理装置、情報処理方法、及び、プログラム |
JP2022079106A JP7422468B2 (ja) | 2018-05-09 | 2022-05-12 | 情報処理装置、情報処理方法、及び、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090314A Division JP2019197340A (ja) | 2018-05-09 | 2018-05-09 | 情報処理装置、情報処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022105590A true JP2022105590A (ja) | 2022-07-14 |
JP7422468B2 JP7422468B2 (ja) | 2024-01-26 |
Family
ID=68463422
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090314A Pending JP2019197340A (ja) | 2018-05-09 | 2018-05-09 | 情報処理装置、情報処理方法、及び、プログラム |
JP2022079106A Active JP7422468B2 (ja) | 2018-05-09 | 2022-05-12 | 情報処理装置、情報処理方法、及び、プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090314A Pending JP2019197340A (ja) | 2018-05-09 | 2018-05-09 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US20190349560A1 (ja) |
JP (2) | JP2019197340A (ja) |
KR (1) | KR20190128992A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
JP7159057B2 (ja) * | 2017-02-10 | 2022-10-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
WO2021149526A1 (ja) * | 2020-01-23 | 2021-07-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5645450B2 (ja) * | 2010-04-16 | 2014-12-24 | キヤノン株式会社 | 画像処理装置および方法 |
JP6021541B2 (ja) | 2012-09-13 | 2016-11-09 | キヤノン株式会社 | 画像処理装置及び方法 |
JP5861684B2 (ja) | 2013-09-27 | 2016-02-16 | ブラザー工業株式会社 | 情報処理装置、及びプログラム |
EP3306571A4 (en) * | 2015-06-02 | 2019-01-16 | Dentsu Inc. | THREE-DIMENSIONAL ADVERTISING SYSTEM, USER DEVICE AND DEFINITION OF THREE-DIMENSIONAL ADVERTISING SURFACES |
JP6615723B2 (ja) * | 2016-09-07 | 2019-12-04 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および対象物認識方法 |
WO2018079260A1 (ja) * | 2016-10-25 | 2018-05-03 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6922369B2 (ja) * | 2017-04-14 | 2021-08-18 | 富士通株式会社 | 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置 |
JP6481734B2 (ja) * | 2017-10-18 | 2019-03-13 | カシオ計算機株式会社 | 撮影システム、撮影方法及びプログラム |
US20190259198A1 (en) * | 2018-02-21 | 2019-08-22 | Tsunami VR, Inc. | Systems and methods for generating visual representations of a virtual object for display by user devices |
-
2018
- 2018-05-09 JP JP2018090314A patent/JP2019197340A/ja active Pending
-
2019
- 2019-04-19 US US16/389,819 patent/US20190349560A1/en not_active Abandoned
- 2019-04-22 KR KR1020190046447A patent/KR20190128992A/ko not_active Application Discontinuation
-
2022
- 2022-05-05 US US17/737,571 patent/US20220264067A1/en active Pending
- 2022-05-12 JP JP2022079106A patent/JP7422468B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019197340A (ja) | 2019-11-14 |
US20220264067A1 (en) | 2022-08-18 |
KR20190128992A (ko) | 2019-11-19 |
JP7422468B2 (ja) | 2024-01-26 |
US20190349560A1 (en) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7362806B2 (ja) | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム | |
JP7140487B2 (ja) | 情報処理装置、表示制御方法、及び、プログラム | |
JP7422468B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7034666B2 (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
CN108304063B (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
CN110944119B (zh) | 图像处理系统、图像处理方法和存储介质 | |
KR101831516B1 (ko) | 멀티 스티커를 이용한 영상 생성 방법 및 장치 | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP7423251B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2022176720A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7439146B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2022110751A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6672417B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
RU2725682C1 (ru) | Устройство обработки информации, способ обработки информации и носитель данных | |
JP2020119262A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7044149B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP4296961A1 (en) | Image processing device, image processing method, and program | |
JP2023026244A (ja) | 画像生成装置および画像生成方法、プログラム | |
JP2023003765A (ja) | 画像生成装置およびその制御方法、画像生成システム、ならびにプログラム | |
JP2022103836A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2023184358A (ja) | 画像処理システム、画像処理システムの制御方法、及びプログラム | |
JP2023167486A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2023111640A (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
JP2019118042A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220512 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7422468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |