JP2021149513A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021149513A JP2021149513A JP2020048906A JP2020048906A JP2021149513A JP 2021149513 A JP2021149513 A JP 2021149513A JP 2020048906 A JP2020048906 A JP 2020048906A JP 2020048906 A JP2020048906 A JP 2020048906A JP 2021149513 A JP2021149513 A JP 2021149513A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- subject
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims 3
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 20
- 238000003702 image correction Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、第1の実施形態に係る画像処理装置を含む画像処理システムの構成例を示した図である。図1に示した画像処理システムは、複数の被写体撮像部1、背景撮像部2、同期部3、三次元形状推定部4、被写体検出部5、補正部6、背景テクスチャ生成部7、蓄積部8、画像生成部9、及び操作表示部10を含んで構成される。なお、本画像処理システムは、1つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。図1において、本実施形態に係る画像処理装置は、例えば三次元形状推定部4、被写体検出部5、補正部6、背景テクスチャ生成部7、蓄積部8、及び画像生成部9により構成されているとする。
複数の被写体撮像部1は、それぞれが主に被写体を撮影するような画角および撮影方向に設置され、撮影した被写体撮影画像を三次元形状推定部4に出力する撮像装置である。なお、被写体撮像部1は、図2に示すように、競技場のグラウンドや被写体を複数の方向から撮影するため、つまり複数の視点から被写体等を撮影するために、グラウンドを囲むように設置されているとする。
図4は、最新の(現在の)背景撮像画像41と、補正部6が保持している過去の背景撮像画像42と、被写体検出部5にて検出されるシルエット被写体検出領域を表すシルエット画像43と、それらに基づく画像補正処理後の背景撮像画像45とを示した図である。図4の最新の背景撮像画像41の場合、補正部6による画像補正処理が行われていないため、人物410およびサッカーボール411が映りこんでいる。また、過去の背景撮像画像42の場合にも、補正部6による画像補正処理が行われていないため、人物420およびサッカーボール421が映りこんでいる。シルエット画像43は、最新の背景撮像画像41について被写体検出部5により検出されるシルエット被写体領域およびその位置を示しており、図4の例では、矩形被写体領域430および431とその位置が検出されているとする。
また、前述の実施形態では撮像から画像生成まで一つの画像処理システムとして記載したが、必ずしも一つの構成に限定するものではない。例えば蓄積部8に記録するまでを仮想視点画像素材生成装置とし、蓄積部8に記録された素材を用いて仮想視点画像を生成する部分を仮想視点画像生成装置とし、それぞれ個別装置として構成してもよい。
また、前述の実施形態の場合、被写体検出部5は、三次元形状推定部4から被写体三次元モデルを取得する構成として記載したが、必ずしもこれに限定するものではない。例えば被写体検出部5が、蓄積部8に蓄積・保存された、被写体三次元モデルを取得する構成としてもよい。
また、補正部6における画像補正処理は、最新の背景撮像画像を過去の背景撮像画像で置き換えることに限定されず、例えば、同じフレームの画像内の補正対象部分に類似した部分を用いて置換する、または、時間的に前後の背景撮像画像の画素値の平均値で置換するといった方法を用いても構わない。また、被写体が写っていない別な背景撮像部2の画像で補完しても構わない。
図5は、第2の実施形態に係る画像処理装置を含む画像処理システムの構成例を示した図である。図5に示した画像処理システムの構成は、図1に示した第1の実施形態の画像処理システムの構成と概ね同じであるが、被写体検出部5の動作及び周囲の構成部との接続と、補正部6の動作が図1の例とは異なる。以下、図5の構成および動作において、図1とは異なる部分のみを説明する。なお、被写体撮像部1、背景撮像部2、同期部3、三次元形状推定部4、被写体検出部5、補正部6、背景テクスチャ生成部7、蓄積部8、画像生成部9、及び操作表示部10において、図1の対応した各部と同様の動作に関する説明は省略する。
このように、第2の実施形態においては、第1の実施形態と同様に、背景撮像画像及びそれから生成される背景テクスチャ画像に映り込む被写体を除去することが可能である。これにより、第2の実施形態によれば、被写体三次元モデルと被写体撮影画像から生成される被写体と、背景に映り込んでしまった被写体とが、仮想視点画像において多重に表示されることを抑制することができる。
また第2の実施形態では、必ずしも被写体撮像部1と背景撮像部2が同期している必要はないため、同期部3は複数の被写体撮像部1のみを同期する構成としてもよい。
図1、図5、または図6に示した各処理部は、ハードウェアでもって構成しているものとして説明したが、これらの各図に示した各処理部で行う処理は、コンピュータプログラムの実行によって実現されてもよい。
図7は、前述した各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
上述の構成からなる作動は前述の実施形態で説明した作動をCPU801が中心となってその制御を行う。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (11)
- 背景を撮像した画像、または前記背景を撮像した画像から生成されたテクスチャ画像の、少なくともいずれか一つを、背景画像として取得する取得手段と、
前記背景画像に投影された被写体の領域を、被写体領域として検出する検出手段と、
前記検出された前記被写体領域に含まれる前記被写体の画像を、前記背景画像から除去する画像補正を行う補正手段と、
を有することを特徴とする画像処理装置。 - 前記被写体を複数の被写体撮像装置を用いて複数の方向から撮像した撮像画像を基に、前記被写体の三次元形状を推定する推定手段を有し、
前記検出手段は、前記背景を撮像する背景撮像装置の光学系に関する内部パラメータと前記背景撮像装置の位置姿勢を示す外部パラメータとに基づいて、前記背景撮像装置にて撮像された背景の画像に対して前記三次元形状を投影し、前記三次元形状が投影された領域を前記被写体領域として検出することを特徴とする請求項1に記載の画像処理装置。 - 前記検出手段は、現在の背景画像と過去に取得した背景画像との差分画像に基づいて、前記被写体領域を検出することを特徴とする請求項1に記載の画像処理装置。
- 前記被写体を複数の被写体撮像装置を用いて複数の方向から撮像した撮像画像を基に、前記被写体の三次元形状を推定する推定手段を有し、
前記検出手段は、
前記背景を撮像する背景撮像装置の光学系に関する内部パラメータと前記背景撮像装置の位置姿勢を示す外部パラメータとに基づいて、前記背景撮像装置にて撮像された背景の画像に対して前記三次元形状を投影し、前記三次元形状が投影された領域を前記被写体領域として検出する処理と、
現在の背景画像と過去に取得した背景画像との差分画像に基づいて前記被写体領域を検出する処理とを、
画像内で切り替えることを特徴とする請求項1に記載の画像処理装置。 - 前記検出手段は、前記差分画像の中の領域の大きさ、色、形状、又は移動量の少なくとも一つ以上に基づいて、前記被写体領域を検出することを特徴とする請求項3または請求項4に記載の画像処理装置。
- 前記補正手段は、前記検出された被写体領域に対して、過去の背景画像の同じ位置の画素の色に基づく領域を用いて上書きする前記画像補正を行うことを特徴とする請求項1から請求項5のいずれか1項に記載の画像処理装置。
- 前記補正手段は、前記検出された被写体領域に対して、当該被写体領域の周囲の画素の色及びパターンに基づく領域を用いて上書きする前記画像補正を行うことを特徴とする請求項1から請求項5のいずれか1項に記載の画像処理装置。
- 前記取得手段は、少なくともそれぞれ異なる角度から背景を撮像する、複数の背景撮像装置からの複数の背景画像を取得し、
前記検出手段は、前記複数の背景画像の中のいずれか一つの背景画像から、前記被写体領域を検出し、
前記補正手段は、前記検出された被写体領域に対して、当該被写体領域が検出された背景画像を撮像した背景撮像装置とは別の角度から撮像する背景撮像装置によって取得された背景画像を用いた補完によって前記画像補正を行うことを特徴とする請求項1から請求項7のいずれか1項に記載の画像処理装置。 - 前記検出手段、または前記補正手段のどちらか一方において、前記被写体領域に対して膨張又は拡張を行った領域を、前記被写体領域とすることを特徴とする請求項1から請求項8のいずれか1項に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
背景を撮像した画像、または前記背景を撮像した画像から生成されたテクスチャ画像の、少なくともいずれか一つを、背景画像として取得する取得工程と、
前記背景画像に投影された被写体の領域を、被写体領域として検出する検出工程と、
前記検出された前記被写体領域に含まれる前記被写体の画像を、前記背景画像から除去する画像補正を行う補正工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から請求項9のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048906A JP2021149513A (ja) | 2020-03-19 | 2020-03-19 | 画像処理装置、画像処理方法、及びプログラム |
US17/196,384 US11528465B2 (en) | 2020-03-19 | 2021-03-09 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048906A JP2021149513A (ja) | 2020-03-19 | 2020-03-19 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021149513A true JP2021149513A (ja) | 2021-09-27 |
Family
ID=77746917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020048906A Pending JP2021149513A (ja) | 2020-03-19 | 2020-03-19 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11528465B2 (ja) |
JP (1) | JP2021149513A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022085643A (ja) * | 2020-11-27 | 2022-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5737031A (en) * | 1996-07-30 | 1998-04-07 | Rt-Set | System for producing a shadow of an object in a chroma key environment |
US8442304B2 (en) * | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
US9235879B2 (en) * | 2012-06-29 | 2016-01-12 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis |
AU2019206713A1 (en) * | 2018-01-14 | 2020-07-30 | Light Field Lab, Inc. | Systems and methods for rendering data from a 3D environment |
JP6827996B2 (ja) | 2018-10-31 | 2021-02-10 | キヤノン株式会社 | 画像処理装置、制御方法、及び、プログラム |
US11094114B2 (en) * | 2019-02-08 | 2021-08-17 | Ursa Space Systems Inc. | Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations |
JP2020156162A (ja) | 2019-03-19 | 2020-09-24 | 株式会社明電舎 | 電力変換装置 |
US10949960B2 (en) * | 2019-06-20 | 2021-03-16 | Intel Corporation | Pose synthesis in unseen human poses |
-
2020
- 2020-03-19 JP JP2020048906A patent/JP2021149513A/ja active Pending
-
2021
- 2021-03-09 US US17/196,384 patent/US11528465B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210297650A1 (en) | 2021-09-23 |
US11528465B2 (en) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102049245B1 (ko) | 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체 | |
JP6587421B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5327339B2 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
Eng et al. | Gaze correction for 3D tele-immersive communication system | |
US20200058167A1 (en) | Generation device, generation method and storage medium for three-dimensional model | |
US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
KR20150093972A (ko) | 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치 | |
US11398007B2 (en) | Video generation device, video generation method, program, and data structure | |
US20190068955A1 (en) | Generation apparatus, generation method, and computer readable storage medium | |
JP2020197989A5 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
US20230024396A1 (en) | A method for capturing and displaying a video stream | |
US20200099854A1 (en) | Image capturing apparatus and image recording method | |
CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
JP2021149513A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Audet et al. | Shadow removal in front projection environments using object tracking | |
KR20190129433A (ko) | 파노라마 영상 생성 방법 및 그 장치 | |
WO2020209108A1 (ja) | 画像処理装置、3dモデル生成方法、およびプログラム | |
JP2020046960A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP7271115B2 (ja) | 画像処理装置、背景画像の生成方法およびプログラム | |
JP7321716B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113763545A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
JP2002077941A (ja) | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2020035218A (ja) | 画像処理装置、方法及びプログラム | |
JP2009212711A (ja) | 画像処理装置 | |
CN112839164A (zh) | 一种拍照方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240308 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |