JP2018207252A - 画像処理システム、画像処理システムの制御方法、及び、プログラム - Google Patents
画像処理システム、画像処理システムの制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP2018207252A JP2018207252A JP2017109284A JP2017109284A JP2018207252A JP 2018207252 A JP2018207252 A JP 2018207252A JP 2017109284 A JP2017109284 A JP 2017109284A JP 2017109284 A JP2017109284 A JP 2017109284A JP 2018207252 A JP2018207252 A JP 2018207252A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- processing system
- cameras
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
Description
本実施形態では、リファレンス画像を、キャリブレーション用画像の中から選択していた。これに代えて、例えばマーカを配置していない背景のみの撮影を別途行い、こうして得られたリファレンス用の動画像を構成するフレーム画像の中からリファレンス画像を選択するようにしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
110 カメラ
111 撮像部
112 リファレンス画像決定部
113 画像位置補正部
120 カメラ
130 カメラ
140 サーバ
141 画像取り込み部
142 キャリブレーション部
143 仮想視点映像生成部
Claims (17)
- 複数のカメラで撮影した多視点映像を用いて仮想視点映像を生成する画像処理システムであって、
前記複数のカメラのそれぞれの位置及び姿勢の少なくとも一方を表すカメラパラメータを得る取得手段と、
前記複数のカメラで撮影した多視点映像に対して、前記取得手段により取得されたカメラパラメータに基づいて決定されたリファレンス画像を用いて補正処理を行う補正手段と、
前記補正手段の補正処理により得られた多視点映像を用いて、前記仮想視点映像を生成する生成手段と、
を備えたことを特徴とする画像処理システム。 - 前記取得手段は、前記仮想視点映像の生成のための前記複数のカメラによる多視点映像の撮影開始前に、前記複数のカメラそれぞれについてキャリブレーション処理を行なうことで、前記カメラパラメータを得ることを特徴とする請求項1に記載の画像処理システム。
- 所定の画像特徴点を画像上に再投影した場合の座標を、前記キャリブレーション処理で得られた前記カメラパラメータに基づいて求め、
前記複数のカメラそれぞれで撮影された、前記リファレンス画像の候補となる複数の画像のそれぞれにおける前記所定の画像特徴点の座標を求め、
前記キャリブレーション処理で得られたカメラパラメータに基づいて求めた座標と、前記リファレンス画像の候補となる複数の画像のそれぞれにおける前記所定の画像特徴点の座標との差分である再投影誤差を求め、
前記リファレンス画像の候補となる複数の画像の中から、前記再投影誤差が最も小さい画像を選択して、前記リファレンス画像を決定する決定手段を有する
ことを特徴とする請求項1に記載の画像処理システム。 - 前記決定手段は、前記所定の画像特徴点が複数である場合、画像特徴点毎に求めた前記再投影誤差の平均値もしくは合計値を算出し、得られた平均値もしくは合計値が最小の画像を選択することを特徴とする請求項3に記載の画像処理システム。
- 前記決定手段は、前記複数の画像特徴点について重み付けを行って得られた前記再投影誤差に基づき、前記選択を行うことを特徴とする請求項4に記載の画像処理システム。
- 前記重み付けは、前記再投影誤差が小さい画像特徴点ほどその信頼度を高くする重み付け、または、検出したカメラ台数や画像枚数が多い画像特徴点ほどその信頼度を高くする重み付けであることを特徴とする請求項5に記載の画像処理システム。
- 前記重み付けは、画像中央に近い画像特徴点ほどその重要度を高くする重み付けであることを特徴とする請求項5に記載の画像処理システム。
- 前記座標は、二次元の画像座標或いは三次元のカメラ座標であることを特徴とする請求項3乃至7のいずれか1項に記載の画像処理システム。
- 前記リファレンス画像の候補となる前記複数の画像として、前記キャリブレーション処理で用いた画像を用いることを特徴とする請求項3に記載の画像処理システム。
- 自カメラについてのリファレンス画像の前記決定を、前記キャリブレーション処理で得られた自カメラのカメラパラメータに基づき行う手段を、前記複数のカメラのそれぞれが有することで、前記決定手段が実現されることを特徴とする請求項2乃至9のいずれか1項に記載の画像処理システム。
- 前記多視点映像を構成する画像のうち自カメラで撮影した画像に対して前記補正を行う手段を、前記複数のカメラのそれぞれが有することで、前記補正手段が実現されることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理システム。
- 前記キャリブレーション処理にいられる画像は、所定の閾値より振動が小さい状態で撮影された画像であることを特徴とする、請求項2乃至11のいずれか1項に記載の画像処理システム。
- 前記所定の閾値は、撮影時の振動状態によって異なることを特徴とする請求項12に記載の画像処理システム。
- リファレンス画像として決定した画像から新たにカメラパラメータを求め、当該求めたカメラパラメータと、前記キャリブレーション処理で得られたカメラパラメータとの差分を算出する算出手段をさらに備え、
前記生成手段は、算出された前記差分に応じて画像位置を再調整した多視点映像を用いて、前記仮想視点映像を生成する
ことを特徴とする、請求項2乃至13のいずれか1項に記載の画像処理システム。 - 前記複数のカメラそれぞれのカメラパラメータを管理する管理手段であって、前記決定手段で決定されたリファレンス画像から前記複数のカメラそれぞれについてのカメラパラメータを求め、当該求めたカメラパラメータで、前記キャリブレーション処理で得られたカメラパラメータを更新する、管理手段をさらに備え、
前記決定手段は、更新されたカメラパラメータを用いて、前記リファレンス画像を決定する、
ことを特徴とする請求項2乃至13のいずれか1項に記載の画像処理システム。 - 複数のカメラと画像処理装置とを備えた画像処理システムにおいて、前記複数のカメラで撮影した多視点映像を用いて仮想視点映像を生成する方法であって、
前記複数のカメラそれぞれの位置及び姿勢の少なくとも一方を表すカメラパラメータを取得する取得ステップと、
前記複数のカメラで撮影した多視点映像に対して、前記取得手段により取得されたカメラパラメータに基づいて決定されたリファレンス画像を用いて補正処理を行う補正ステップと、
前記補正処理により得られた多視点映像を用いて、前記仮想視点映像を生成する生成ステップと、
を含むことを特徴とする、仮想視点映像の生成方法。 - 請求項1乃至15のいずれか1項に記載の画像処理システムを実現するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017109284A JP6953188B2 (ja) | 2017-06-01 | 2017-06-01 | 画像処理システム、画像処理システムの制御方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017109284A JP6953188B2 (ja) | 2017-06-01 | 2017-06-01 | 画像処理システム、画像処理システムの制御方法、及び、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018207252A true JP2018207252A (ja) | 2018-12-27 |
JP2018207252A5 JP2018207252A5 (ja) | 2020-07-16 |
JP6953188B2 JP6953188B2 (ja) | 2021-10-27 |
Family
ID=64957469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017109284A Active JP6953188B2 (ja) | 2017-06-01 | 2017-06-01 | 画像処理システム、画像処理システムの制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6953188B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020193950A (ja) * | 2019-05-30 | 2020-12-03 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
US11195321B2 (en) | 2019-04-24 | 2021-12-07 | Canon Kabushiki Kaisha | Information processing apparatus, information processing system, information processing method, and storage medium |
CN113994662A (zh) * | 2019-06-20 | 2022-01-28 | 索尼集团公司 | 信息处理设备、信息处理方法、程序、投影设备和信息处理系统 |
CN114762355A (zh) * | 2019-12-09 | 2022-07-15 | 索尼集团公司 | 信息处理装置和方法、程序以及信息处理系统 |
WO2023157477A1 (ja) * | 2022-02-18 | 2023-08-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7467107B2 (ja) | 2019-12-25 | 2024-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2017
- 2017-06-01 JP JP2017109284A patent/JP6953188B2/ja active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11195321B2 (en) | 2019-04-24 | 2021-12-07 | Canon Kabushiki Kaisha | Information processing apparatus, information processing system, information processing method, and storage medium |
JP2020193950A (ja) * | 2019-05-30 | 2020-12-03 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP7240258B2 (ja) | 2019-05-30 | 2023-03-15 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
CN113994662A (zh) * | 2019-06-20 | 2022-01-28 | 索尼集团公司 | 信息处理设备、信息处理方法、程序、投影设备和信息处理系统 |
CN113994662B (zh) * | 2019-06-20 | 2024-04-16 | 索尼集团公司 | 信息处理设备及对应方法、系统、介质和投影设备 |
CN114762355A (zh) * | 2019-12-09 | 2022-07-15 | 索尼集团公司 | 信息处理装置和方法、程序以及信息处理系统 |
JP7467107B2 (ja) | 2019-12-25 | 2024-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2023157477A1 (ja) * | 2022-02-18 | 2023-08-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6953188B2 (ja) | 2021-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6953188B2 (ja) | 画像処理システム、画像処理システムの制御方法、及び、プログラム | |
JP4532856B2 (ja) | 位置姿勢計測方法及び装置 | |
JP6735592B2 (ja) | 画像処理装置及びその制御方法、画像処理システム | |
US20200273205A1 (en) | Calibration apparatus, calibration system, and calibration method | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP5820257B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6754992B2 (ja) | 三次元再構成方法 | |
JP6816058B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
CN109247068A (zh) | 用于滚动快门补偿的方法和设备 | |
WO2012114639A1 (ja) | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム | |
JP2008506953A5 (ja) | ||
JP2010187347A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US20200058167A1 (en) | Generation device, generation method and storage medium for three-dimensional model | |
JP2004235934A (ja) | キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム | |
CN110505398B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
WO2021005977A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
JP2010187348A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
US11166005B2 (en) | Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters | |
KR101845612B1 (ko) | 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법 | |
JP2004289709A (ja) | 撮像装置、撮像方法 | |
JP6969739B2 (ja) | 位置情報取得システム、位置情報取得方法及びプログラム | |
JP4578653B2 (ja) | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200529 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210929 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6953188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |