JP2021184522A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2021184522A JP2021184522A JP2020088782A JP2020088782A JP2021184522A JP 2021184522 A JP2021184522 A JP 2021184522A JP 2020088782 A JP2020088782 A JP 2020088782A JP 2020088782 A JP2020088782 A JP 2020088782A JP 2021184522 A JP2021184522 A JP 2021184522A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- foreground
- information
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 120
- 238000003672 processing method Methods 0.000 title claims 2
- 238000003384 imaging method Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims description 28
- 230000033001 locomotion Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 238000011410 subtraction method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】適切な前景領域を示す情報を生成する。【解決手段】画像処理装置は、取得手段、設定手段、第1生成手段、第2生成手段を備える。取得手段は、撮像装置の撮像により取得される撮像画像を取得する。設定手段は、撮像画像に対して、第一領域と、前記第一領域とは異なる第二領域とを設定する。第1生成手段は、撮像画像と撮像画像に対応する背景領域を少なくとも含む画像とに基づいて、前記第一領域から第一の前景領域を示す情報を生成する。第2生成手段は、撮像画像と、前記撮像装置の前記撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像とに基づいて、前記第二領域から前記第一の前景領域とは異なる第二の前景領域を示す情報を生成する。【選択図】図4
Description
本開示は、撮像画像から前景領域を示す情報を生成する技術に関する。
撮像装置によって撮像された撮像画像から前景情報を生成する技術がある。特許文献1は、入力画像から背景画像を生成し、入力画像と背景画像との差分で前景を抽出する(所謂、背景差分)手法を開示している。特許文献2は、前景の位置が異なる画像の差分で前景を抽出する(所謂、フレーム差分)手法を開示している。
しかしながら、特許文献1、特許文献2では、前景として抽出したい物体以外の物体も前景として撮像画像から抽出する可能性があった。
本開示は、適切に前景領域を示す情報を生成する技術を提供する。
本開示の一態様に係る画像処理装置は、撮像装置の撮像により取得される撮像画像を取得する取得手段と、前記撮像画像に対して、第一領域と、前記第一領域とは異なる第二領域とを設定する設定手段と、前記撮像画像と前記撮像画像に対応する背景領域を少なくとも含む画像とに基づいて、前記第一領域から第一の前景領域を示す情報を生成する第1生成手段と、前記撮像画像と、前記撮像装置の前記撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像とに基づいて、前記第二領域から前記第一の前景領域とは異なる第二の前景領域を示す情報を生成する第2生成手段とを有することを特徴とする。
本開示によれば、適切に前景領域を示す情報を生成することができる。
以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。同一の構成については、同じ符号を付して説明する。
<実施形態1>
本実施形態では、仮想視点画像の生成に用いられる前景情報(第一前景情報、第二前景情報)を生成する形態について説明する。具体的には、本実施形態では、背景差分法を用いて生成した第一前景情報と、フレーム差分法を用いて生成した第二前景情報とを、撮像装置の撮像により取得された撮像画像にて予め決めた第一領域及び第二領域の領域毎に選択(生成)する形態について説明する。なお、本実施形態では、前景情報が仮想視点画像の生成に用いられる例を説明するが、必ずしも仮想視点画像の生成に用いられるものでなくてよい。このため、複数の撮像装置間の相対的な幾何学的設置条件に縛られるものではない。さらには、複数の撮像装置を用いる形態でなくてもよい。例えば、構内、遠隔地、または屋外に設置された監視用撮像装置などの単一の撮像装置で撮像した画像の前景の生成に用いられる形態でもよい。
本実施形態では、仮想視点画像の生成に用いられる前景情報(第一前景情報、第二前景情報)を生成する形態について説明する。具体的には、本実施形態では、背景差分法を用いて生成した第一前景情報と、フレーム差分法を用いて生成した第二前景情報とを、撮像装置の撮像により取得された撮像画像にて予め決めた第一領域及び第二領域の領域毎に選択(生成)する形態について説明する。なお、本実施形態では、前景情報が仮想視点画像の生成に用いられる例を説明するが、必ずしも仮想視点画像の生成に用いられるものでなくてよい。このため、複数の撮像装置間の相対的な幾何学的設置条件に縛られるものではない。さらには、複数の撮像装置を用いる形態でなくてもよい。例えば、構内、遠隔地、または屋外に設置された監視用撮像装置などの単一の撮像装置で撮像した画像の前景の生成に用いられる形態でもよい。
まず、本実施形態の理解を容易にするため、仮想視点画像の生成の概要を簡単に説明する。複数の撮像装置を異なる位置に設置して同期撮像を行い、当該撮像により得られた複数視点の画像を用いて、実際には存在しない撮像装置からの仮想視点画像を生成する技術がある。例えば、仮想視点画像を用いると、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。
仮想視点画像を生成する際には、複数の撮像装置で同期撮像した画像をサーバなどの画像処理部に集約し、当該画像処理部にて主な被写体(オブジェクト)である前景を背景部分から切り離してモデル化した上でレンダリングする処理などが行われる。そして、最後に処理結果をサーバからユーザ端末に伝送して表示することで、ユーザの視聴閲覧が実現される。
前景をモデル化(生成)する際には、複数の撮像装置から見たときの前景のシルエットに相当する前景マスクの情報と前景のテクスチャの情報(例えば前景の各画素のR、G、Bの色情報)とが必要となる。
前景を背景部分から切り離す処理は、前景背景分離処理と呼ばれる。前景背景分離処理は、前景領域の推定を行う処理であり、一般的に背景差分法やフレーム差分法によって行われる。背景差分法とは、背景画像と、前景を含む入力画像との差分を求め、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。フレーム差分とは、時間的に連続する画像(フレーム)の差分画像から、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。
(システム構成)
ここで、図を用いて、仮想視点画像を生成する画像処理システムについて説明する。図1は、仮想視点画像を生成する画像処理システムの構成例を示す図である。画像処理システム100は、撮像モジュール110a〜110z、データベース(DB)250、サーバ270、制御装置300、スイッチングハブ180、及びエンドユーザ端末190を有する。すなわち、画像処理システム100は、画像収集ドメイン、データ保存ドメイン、及び画像生成ドメインという3つの機能ドメインを有する。画像収集ドメインは撮像モジュール110a〜110zを含み、データ保存ドメインはDB250とサーバ270を含み、画像生成ドメインは制御装置300及びエンドユーザ端末190を含む。
ここで、図を用いて、仮想視点画像を生成する画像処理システムについて説明する。図1は、仮想視点画像を生成する画像処理システムの構成例を示す図である。画像処理システム100は、撮像モジュール110a〜110z、データベース(DB)250、サーバ270、制御装置300、スイッチングハブ180、及びエンドユーザ端末190を有する。すなわち、画像処理システム100は、画像収集ドメイン、データ保存ドメイン、及び画像生成ドメインという3つの機能ドメインを有する。画像収集ドメインは撮像モジュール110a〜110zを含み、データ保存ドメインはDB250とサーバ270を含み、画像生成ドメインは制御装置300及びエンドユーザ端末190を含む。
制御装置300は、画像処理システム100を構成するそれぞれのブロックに対してネットワークを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはEthernet(登録商標)であるIEEE標準準拠のGbE(ギガビットイーサーネット)や10GbEでもよいし、インターコネクトInfiniband、産業用ローカルエリアネットワーク等を組合せて構成されてもよい。また、これらに限定されず、他の種類のネットワークであってもよい。
最初に、撮像モジュール110a〜110zの26セット分の撮像画像を撮像モジュール110zからサーバ270へ送信する動作を説明する。撮像モジュール110a〜110zは、それぞれ1台ずつのカメラ112a〜112zを有する。以下では、撮像モジュール110a〜110zまでの26セットのシステムを区別せず、単に「撮像モジュール110」と記載する場合がある。各撮像モジュール110内の装置についても同様に、「カメラ112」、「カメラアダプタ120」と記載する場合がある。なお、撮像モジュール110の台数を26セットとしているが、あくまでも一例でありこれに限定されない。
撮像モジュール110a〜110zはデイジーチェーンにより接続される。この接続形態により、撮像画像の4Kや8Kなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、接続形態は任意であり、例えば撮像モジュール110a〜110zがスイッチングハブ180にそれぞれ接続されて、スイッチングハブ180を経由して撮像モジュール110間のデータ送受信を行うスター型のネットワーク構成としてもよい。
本実施形態では、各撮像モジュール110はカメラ(撮像装置)112とカメラアダプタ120とで構成されているがこれに限定されない。例えば、マイク、雲台、外部センサを有していてもよい。また、本実施形態では、カメラ112とカメラアダプタ120とが分離された構成となっているが、同一筺体で一体化されていてもよい。撮像モジュール110a内のカメラ112aにて得られた撮像画像は、カメラアダプタ120aにおいて後述の画像処理が施された後、撮像モジュール110bのカメラアダプタ120bに伝送される。同様に撮像モジュール110bは、カメラ112bにて得られた撮像画像を、撮像モジュール110aから取得した撮像画像と合わせて撮像モジュール110cに伝送する。このような動作を続けることにより、26セット分の撮像画像が、撮像モジュール110zからスイッチングハブ180に伝わり、その後、サーバ270へ伝送される。
なお、本実施形態では、個々のカメラアダプタ120内で前景であるかの評価までを行うものとして説明する。ただし、このような態様に限定されるものではなく、26セット分の撮像画像を受け取ったサーバ270にて、個々の撮像画像に対応するシルエット画像の生成を行うような構成であってもよい。
(カメラアダプタの構成)
次に、カメラアダプタ120の詳細について説明する。図2は、カメラアダプタ120の内部構成例を示す機能ブロック図である。カメラアダプタ120は、ネットワークアダプタ121、伝送部122、画像処理装置123及びカメラ制御部124を有する。
次に、カメラアダプタ120の詳細について説明する。図2は、カメラアダプタ120の内部構成例を示す機能ブロック図である。カメラアダプタ120は、ネットワークアダプタ121、伝送部122、画像処理装置123及びカメラ制御部124を有する。
ネットワークアダプタ121は、他のカメラアダプタ120やサーバ270、制御装置300とデータ通信を行う。また、例えばIEEE1588規格のOrdinay Clockに準拠し、サーバ270との間で送受信したデータのタイムスタンプの保存や、サーバ270との時刻同期も行う。なお、他のEtherAVB規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ121としてNIC(Network Interface Card)を利用するが、これに限定されない。
伝送部122は、ネットワークアダプタ121を介してスイッチングハブ180等に対するデータの伝送を制御する。伝送部122は、送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。また、受信したデータ及び画像処理装置123で処理されたデータのルーティング先を決定する機能や、決定したルーティング先へデータを送信する機能を有している。また、画像データを、他のカメラアダプタ120またはサーバ270へ転送するためのメッセージを作成する機能も有している。メッセージには画像データのメタ情報が含まれる。このメタ情報には、画像撮像のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及びカメラ112の識別子などが含まれる。なお、送信する画像データは圧縮されていてもよい。また、他のカメラアダプタ120からメッセージを受け取り、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データに復元する。
画像処理装置123は、カメラ制御部124の制御によりカメラ112が撮像して得た画像データ、および初期化情報に基づき、前景背景分離して、前景である、オブジェクトの画像などを含む前景情報を生成する処理を行う。また、動的キャリブレーションなどの処理も行う。前景の生成を複数のカメラアダプタ120それぞれが行うことで、画像処理システム100における負荷を分散させることができる。動的キャリブレーションは、撮像中に行うキャリブレーションで、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理(電子防振処理)などが含まれる。なお、画像処理装置123によって生成された前景情報は、前景領域を示す前景シルエット画像と入力画像から前景領域を切り出した画像を含み、仮想視点画像を生成するためにそれぞれ伝送されサーバなどの画像処理部に集約される。なお、前景情報は、前景領域を示す前景シルエット画像と、入力画像から前景領域を切り出した画像(前景テクスチャ画像)と、のうちいずれか一方を含んでいればよい。
カメラ制御部124は、カメラ112と接続し、カメラ112の制御、撮像画像取得、同期信号提供、時刻設定などを行う。カメラ112の制御には、例えば撮像パラメータ(画素数、色深度、フレームレート、ホワイトバランスの設定など)の設定及び参照、カメラ112の状態情報(撮像中、停止中、同期中、及びエラーなど)の取得、撮像の開始及び停止や、ピント調整などがある。
(画像処理装置のハードウェア構成)
次に、図を用いて、画像処理装置のハードウェア構成例について説明する。図1は、本実施形態に係る画像処理装置のハードウェア概略構成を示すブロック図である。画像処理装置123は、CPU311、ROM312、RAM313、補助記憶装置314、表示部315、操作部316、通信インターフェース(I/F)317を有する。各構成要素はバス318を介して相互に通信可能に接続されている。
次に、図を用いて、画像処理装置のハードウェア構成例について説明する。図1は、本実施形態に係る画像処理装置のハードウェア概略構成を示すブロック図である。画像処理装置123は、CPU311、ROM312、RAM313、補助記憶装置314、表示部315、操作部316、通信インターフェース(I/F)317を有する。各構成要素はバス318を介して相互に通信可能に接続されている。
CPU(Central Processing Unit)311は、ROM312や補助記憶装置314等に格納された各種プログラムを実行して、画像処理装置123を統括的に制御することで、図4に示す画像処理装置123の各機能を実現する。なお、画像処理装置123がCPU311とは異なる1又は複数の専用のハードウェアを有し、CPU311による処理の少なくとも一部を専用ハードウェアが実行してもよい。専用ハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、およびDSP(デジタルシグナルプロセッサ)等がある。
ROM(Read Only Memory)312は、変更を必要としないプログラム等を記憶する。RAM(Random Access Memory)313は、ROM312や補助記憶装置314から供給されるプログラムおよびデータ、並びに通信I/F317を介して外部から供給されるデータ等を一時的に記憶する。補助記憶装置314は、例えばハードディスクドライブ等を有し、画像データや音声データ等の種々のデータを記憶する。
表示部315は、例えば液晶ディスプレイやLED等を有し、ユーザが画像処理装置123を操作するためのGUI(Graphical User Interface)等を表示する。操作部316は、例えばキーボードやマウス、ジョイスティック、タッチパネル等を有し、ユーザによる操作を受けて各種の指示をCPU311に入力する。CPU311は、表示部315を制御する表示制御部、及び操作部316を制御する操作制御部として動作する。
通信I/F317は、画像処理装置123の外部の装置との通信に用いられる。例えば、画像処理装置123が外部の装置と有線で接続される場合には、通信用のケーブルが通信I/F317に接続される。画像処理装置123が外部の装置と無線通信する機能を有する場合には、通信I/F317はアンテナを備える。バス318は、画像処理装置123の各部をつないで情報を伝達する。
本実施形態では表示部315と操作部316が画像処理装置123の内部に存在するものとするが、表示部315と操作部316との少なくとも一方が画像処理装置123の外部に別の装置として存在していてもよい。
[画像処理装置の機能構成]
次に、図を用いて、画像処理装置123の機能構成について説明する。図4は、画像処理装置123の機能ブロック図である。なお、図4に示す機能構成は、その機能を実現するためのプログラムを図3に示す画像処理装置123に供給し、さらに画像処理装置123が実行することで実現される。
次に、図を用いて、画像処理装置123の機能構成について説明する。図4は、画像処理装置123の機能ブロック図である。なお、図4に示す機能構成は、その機能を実現するためのプログラムを図3に示す画像処理装置123に供給し、さらに画像処理装置123が実行することで実現される。
本実施形態の画像処理装置123は、記憶部401、背景生成部402、第一情報生成部403、第二情報生成部404、選択部405を有する。なお、画像処理装置の記憶部401、背景生成部402、第一情報生成部403、第二情報生成部404には、カメラ(撮像装置)112が撮像して得た撮像画像(処理画像)の画像データが入力される。画像処理装置123に入力された撮像画像の画像データは、現在の入力画像(処理画像)ともいう。撮像画像は、時間的に連続して撮像された静止画または動画像のフレームなどの画像である。
記憶部401は、所定のフレーム数の撮像画像(入力画像)を記憶する。所定のフレーム数は、例えば、現在のフレームの4つ前から1つ前までの4フレームなど、詳細につき後述する第二情報生成部403が第二前景情報を生成するときに必要となる個数であればよい。
背景生成部402は、入力画像から背景画像を生成する。背景生成部402は、例えば、一定の間隔で、現在の入力画像と、記憶部401に記憶された過去の入力画像(過去画像)とを比較することで、入力画像中にて動きの有無を判定し、相対的に動きが無いと判定された領域を背景画像として生成する。過去の入力画像は、現在のフレームの入力画像に対し1つ以上前のフレームの入力画像であればよい。動きの有無の判定には、公知の技術が用いられる。例えば、動きの有無は、現在のフレームの入力画像と、過去の複数フレームの入力画像とで差分を導出し、導出した差分が所定の閾値未満となるフレームの個数が所定の回数に達するかどうかで判定される。すなわち、導出した差分値が所定の閾値未満となるフレームの個数が所定回数に達する場合に相対的に動きが無いと判定される。導出した差分値が所定の閾値未満となるフレームの個数が所定回数に達しない場合に相対的に動きが有ると判定される。なお、記憶部401に過去の入力画像が記憶されていない場合、背景生成部402は、入力画像を背景画像として生成する。
第一情報生成部403は、背景差分法を利用して、撮像画像(入力画像)に含まれる第一前景を生成するための第一前景情報(第一情報)を生成する。第一情報は、第一の前景領域を含むともいえる。具体的には、第一情報生成部403は、背景生成部402によって生成された背景画像と入力画像との差分(背景差分)を所定の閾値で2値化することにより、相対的に動きのある領域を前景領域とし、前景領域を示す前景シルエット画像を生成する。第一情報生成部403は、画像同士の差分から、第一の前景領域を示す第一前景情報を生成するともいえる。背景生成部402によって生成された背景画像は、入力画像に対応する背景領域を少なくとも含む画像ともいえる。入力画像に対応する背景領域を少なくとも含む画像は、前記撮像装置の前記撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像であるともいえる。ここで、図を用いて、第一情報生成部403による第一前景情報の生成について説明する。
図5は、前景情報の生成を説明するための図である。なお、図5では、サッカーの試合の1場面であって、フィールド上を走る、競技を行う3人の選手と、フィールド横の競技を観る観客席にいる観客とを含み、高く蹴り上げられたボールが観客席を背景に写った入力画像を基に、前景情報を生成するとする。3人の選手とボールを前景となる対象物(オブジェクト)とする。フィールド領域を第一領域とし、フィールド領域内にあるオブジェクトを第一前景とする。観客席領域を第二領域とし、観客席領域内にあるオブジェクトを第二前景とする。なお、図5(a)〜(d)は、同一の撮像画像に対応する画像である。図5(a)〜(d)では、点線より左の領域A100は、サッカーのフィールドに対応した領域(フィールド領域)であり、点線より右の領域A200は、フィールドの周囲に配置される観客席に対応した領域(観客席領域)である。図5(a)は、第一情報生成部403によって生成された第一前景情報(前景シルエット画像)の例を示す図である。フィールド領域A100では、フィールド上を走る3人の選手に対応する領域が前景M100として分離される。すなわち、第一情報生成部403は、フィールド領域A100に含まれるオブジェクト(第一前景)に対応する前景シルエット画像(前景マスク)を生成するともいえる。観客席領域A200では、観客席において、相対的に微小な動きを行う観客に対応する領域が前景M101として分離される。また、観客席領域A200では、選手によって高く蹴り上げられたボールが観客を背景に写っており、観客席領域A200から分離される前景M101には、ボールに対応する領域も含まれる。すなわち、前景M101は、相対的に微小な動きを行う観客に対応する領域と、ボールに対応する領域とを含む。相対的に微小な動きを行う観客に対応する領域は、前景M101では意味を持たない領域(実際には不要な領域)である。ここで例示されるのは、背景差分ではフィールドの様な定常的には静止している背景上のオブジェクトは所望の分離を出来るが、観客席の様な定常的に静止していない背景上では不要な領域まで前景として分離してしまうことである。なお、本実施形態では、背景生成部402によって逐次更新された背景画像を用いるとしているが、例えば、選手がフィールド上にいない時間に予め撮像された画像を背景画像として用いてもよい。ただし、この場合、観客席領域の観客は全て前景として分離されてしまうことになる。第一情報生成部403は、例えば背景差分法を利用して、相対的に動きのあるオブジェクトを入力画像から前景として分離した、前景領域を示す前景シルエット画像を生成する。
第二情報生成部404は、フレーム差分法を利用し、撮像画像と、記憶部401から読み出された過去の入力画像とを用い、撮像画像(入力画像)に含まれる第二前景を生成するための第二前景情報(第二情報)を生成する。第二情報生成部404は、画像同士の差分から、第二の前景領域を示す第二前景情報を生成するともいえる。過去の入力画像は、撮像装置の撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像ともいえる。第二情報は、第二の前景領域を含むともいえる。具体的には、第二情報生成部404は、現在の入力画像と、例えば現在の入力画像に対して2フレーム前の過去の入力画像との差分(第一フレーム差分)画像を生成する。また、第二情報生成部404は、前記2フレーム前の過去の入力画像と、前記2フレーム前の過去の入力画像に対して2フレーム前の過去の入力画像の差分(第二フレーム差分)画像を生成する。次に、第二情報生成部404は、第一フレーム差分画像から第二フレーム差分画像を差し引くことで、現在の入力画像における動きのある領域のみをフレーム差分画像として分離する。そして、第二情報生成部404は、フレーム差分画像を所定の閾値で2値化し、相対的に動きのある領域を前景領域とし、前景領域を示す前景シルエット画像を生成する。すなわち、第二情報生成部404は、観客席領域A200に含まれるオブジェクト(第二前景)に対応する前景シルエット画像(前景マスク)を生成するともいえる。なお、第二前景情報の生成に用いる過去の入力画像は、現在の入力画像に対して2フレーム前および4フレーム前の入力画像に限定されず、現在の入力画像に対してnフレーム前および(n+2)フレーム前の入力画像を用いてもよい。ただし、nは自然数である。
図5(b)は、第二情報生成部404によって生成された第二前景情報(前景シルエット画像)の例を示す図である。図5(b)に示すように、フィールド領域A100では、3人の選手が前景M200として分離される。しかしながら、連続する2つのフレームの時間差で選手は少ししか動かず、選手が過去フレームの選手の位置と重ならない位置まで完全に移動しないため前景M200として選手の輪郭が分離される。すなわち、前景M200として分離される選手の輪郭がある領域は、処理画像において連続する2つのフレームの差分で前景を検出不可である領域であるともいえる。一方、観客席領域A200では、2フレームの時間差で観客はほぼ静止しており前景として分離されないが、高く蹴り上げられたボールは移動速度が速いため前景M201として分離される。ここで例示されるのは、フィールド差分では相対的に動きの遅い物体は輪郭として分離されてしまうが、相対的に動きの速い物体は所望の分離が出来るということである。すなわち、前景M201として分離されるボールがある領域は、処理画像において連続する2つのフレームの差分で前景を検出可能である領域であるともいえる。
なお、上述の第一情報生成部403は、前景として分離した領域を示す前景シルエット画像(図5(a)に相当)と、入力画像から前景領域を切り出した前景画像(不図示)とを含む前景情報(第一前景情報)として出力する。上述の第二情報生成部404は、第一情報生成部403と同様、前景として分離した領域を示す前景シルエット画像(図5(b)に相当)と、入力画像から前景領域を切り出した前景画像(不図示)を含む前景情報(第二前景情報)として出力する。
選択部405は、選択情報を基に、第一情報生成部403によって生成された第一前景情報と、第二情報生成部404によって生成された第二前景情報との何れかを選択して出力する。選択情報は、ユーザによって予め指定され、撮像画像(処理画像)において領域毎に予め設定された情報であって、選択部405に保持(設定)される情報である。図5(c)は、選択部405に設定される選択情報の例を示す図である。選択情報は、図5(c)に示すように、例えば、フィールド領域A100に対応する領域を「1」、観客席領域A200に対応する領域を「0」とする入力画像と同じサイズの1ビットの画像情報である。また、選択情報は、撮像装置の撮像画角が決まれば、例えば画角内のスタンドなどの構造物を手掛かりにフィールド領域と観客席領域との境界に対して設定することが出来る。
図5(d)は、選択部405の出力例を示す図である。選択部405は、処理画素が選択情報で「1」のフィールド領域A100に対応する画素であるときに、第一情報生成部403によって生成された前景情報M100を選択して出力する。選択部405は、処理画素が選択情報で「0」の観客席領域に対応する画素であるときに、第二情報生成部404によって生成された前景情報M201を選択して出力する。図5(d)に示すように、選択部405は、図5(c)に示される選択情報に基づき、図5(a)に示される第一前景情報または図5(b)に示される第二前景情報を選択して出力することになる。
[画像処理装置が実行する処理の流れ]
図を用いて、上述した画像処理装置が実行する処理について説明する。図6は、本実施形態における画像処理装置が実行する処理の流れを示すフローチャートである。このフローチャートに示される処理は、画像処理装置123のCPU311が、ROM312又は補助記憶装置314に記憶された制御プログラムを読み出し、RAM313に展開して実行することにより実現される。本実施形態における処理は、入力画像が入力されるフレームに同期してラスタースキャン処理されるものとして説明するがこれに限定されるものではない。なお、フローチャートの説明における記号「S」は、ステップ(工程)を表すものとする。この点、以下のフローチャートの説明においても同様とする。
図を用いて、上述した画像処理装置が実行する処理について説明する。図6は、本実施形態における画像処理装置が実行する処理の流れを示すフローチャートである。このフローチャートに示される処理は、画像処理装置123のCPU311が、ROM312又は補助記憶装置314に記憶された制御プログラムを読み出し、RAM313に展開して実行することにより実現される。本実施形態における処理は、入力画像が入力されるフレームに同期してラスタースキャン処理されるものとして説明するがこれに限定されるものではない。なお、フローチャートの説明における記号「S」は、ステップ(工程)を表すものとする。この点、以下のフローチャートの説明においても同様とする。
先ず、画像処理装置は、S100の処理とS200の処理を実行する。
S100では、第一情報生成部403は、現在の入力画像と、現在の入力画像に対応し、背景生成部402によって生成された背景画像との差分(背景差分)を所定の閾値で2値化し、相対的に動きのある領域を前景領域として分離し、第一前景情報を生成する。そして、第一情報生成部403は、生成後、処理をS300に移行する。
S200では、第二情報生成部404は、現在の入力画像と、記憶部401から読み出された過去の入力画像との差分を2値化して第一フレーム差分画像を生成し、過去の入力画像の差分を2値化して第二フレーム差分画像を生成する。そして、第二情報生成部404は、第一フレーム差分画像から第二フレーム差分画像を差し引くことによって、現在の入力画像における相対的に動きのある領域のみを前景領域として分離し、第二前景情報を生成する。そして、第二情報生成部404は、生成後、処理をS300に移行する。なお、S100とS200とは、平行処理としてもよい。
S300では、画像処理装置の選択部405は、領域毎に予め設定した選択情報に基づいて、入力画像における現在の処理対象の画(注目画素)が、第一情報生成部403で生成される第一前景情報を選択する第一領域にあるか否かを判定する。注目画素が第一領域にあるとの判定結果を得た場合(S300のYES)、選択部405は、処理をS400に移行する。注目画素が第二情報生成部404で生成される第二前景情報を選択する第二領域にあって、第一領域にはないとの判定結果を得た場合(S300のNO)、選択部405は、処理をS500に移行する。
S400では、選択部405は、第一情報生成部403で生成する第一前景情報を出力として選択する。選択部405は、選択後、処理をS600に移行する。
S500では、選択部405は、第二情報生成部404で生成する第二前景情報を出力として選択する。選択部405は、選択後、処理をS600に移行する。
S600では、画像処理装置は、入力画像における全ての画素に対する処理が終了したか否かを判定する。入力画像の全ての画素に対する処理が終了していないとの判定結果を得た場合(S600のNO)、画像処理装置は、処理をS300に戻す。そして、画像処理装置は、入力画像において、未処理である全ての画素に対しS100からS500の処理を実行する。他方、入力画像の全ての画素に対する処理が終了したとの判定結果を得た場合(S600のYES)、画像処理装置は、図6に示すフローを終了する。
図7(a)は、図6のS100の第一前景情報の生成処理の詳細な流れを示すフローチャートである。このフローチャートに示される処理は、画像処理装置123のCPU311が、ROM312又は補助記憶装置314に記憶された制御プログラムを読み出し、RAM313に展開して実行することにより実現される。
S1001では、背景生成部402は、例えば、一定の間隔で、入力画像と、入力画像に対応し、記憶部401に記憶された過去の入力画像とを比較することによって、入力画像中の動きの有無を判定し、相対的に動きが無い領域を背景画像として生成する。例えば、同一の画素において、画素値の変化が閾値未満であれば相対的に動きがないと判定する。そして、背景生成部402は、相対的に動きが無いと判定された画素を有する領域を背景画像として生成する。なお、同一の画素において、画素値の変化が閾値以上であれば相対的に動きがあると判定され、背景生成部402は、相対的に動きがあると判定された画素を有する領域を背景画像としては生成しない。
S1002では、第一情報生成部403は、入力画像と、入力画像に対応し、S1001において、背景生成部402によって生成された背景画像との差分(背景差分)画像を生成する。背景差分画像の生成には、例えば処理画素におけるR,G,Bの階調値の差分値を用いることができる。
S1003では、第一情報生成部403は、S1002において生成された背景差分画像を所定の閾値で2値化し、相対的に動きのある領域を前景領域として分離する。すなわち、第一情報生成部403は、入力画像と背景画像との背景差分画像を所定の閾値で2値化した画像から、安定した背景画像を生成可能な領域において、前景領域として分離した領域を示す前景シルエット画像を生成するともいえる。
S1004では、第一情報生成部403は、S1003において生成された前景シルエット画像と、対応する入力画像と前景シルエット画像から前景領域を切り出した前景画像とを含む第一前景情報を生成する。
図7(b)は、図6のS200の第二前景情報の生成処理の詳細な流れを示すフローチャートである。このフローチャートに示される処理は、画像処理装置123のCPU311が、ROM312又は補助記憶装置314に記憶された制御プログラムを読み出し、RAM313に展開して実行することにより実現される。
S2001では、第二情報生成部404は、現在の入力画像と、記憶部401から読み出された、例えば、現在の入力画像に対して2フレーム前の入力画像(過去画像)との差分(第一フレーム差分)画像を生成する。第二情報生成部404は、さらに、上述の2フレーム前の入力画像(過去画像)と、入力画像に対応し、記憶部401から読み出された4フレーム前の入力画像(過去画像)との差分(第二フレーム差分)画像を生成する。そして、第二情報生成部404は、第一フレーム差分画像から第二フレーム差分画像を差し引くことで現在の入力画像における相対的に動きのある領域のみを前景領域(フレーム差分画像)として分離(生成)する。フレーム差分画像の生成には、例えば処理画素におけるR,G,Bの階調値の差分値を用いることができる。
S2002では、第二情報生成部404は、S2001において生成されたフレーム差分画像を所定の閾値で2値化し、相対的に動きのある領域を前景領域として分離する。すなわち、第二情報生成部404は、第一フレーム画像と第二フレーム画像のフレーム差分画像を所定の閾値で2値化した画像から、安定した背景画像を生成不可能な領域において、前景領域として分離した領域を示す前景シルエット画像を生成するともいえる。
S2003では、第二情報生成部404は、S2002において生成された前景シルエット画像と、対応する入力画像と前景シルエット画像から前景領域を切り出した前景画像とを含む第二前景情報を生成する。
[効果]
以上説明したように、本実施形態によれば、撮像画像の領域毎に適した前景背景分離手法を適用することで不要な前景情報の生成を抑制し、必要な前景情報を分離(生成)することが出来る。すなわち、適切な前景情報を生成することができる。
以上説明したように、本実施形態によれば、撮像画像の領域毎に適した前景背景分離手法を適用することで不要な前景情報の生成を抑制し、必要な前景情報を分離(生成)することが出来る。すなわち、適切な前景情報を生成することができる。
また、結果として、前景情報をサーバなどの画像処理部に伝送して集約し仮想視点画像を生成するシステムにおいて、伝送コストを抑制しつつ必要な前景が欠けることのない仮想視点画像を生成することが可能となる。
[変形例1]
上述の実施形態1では、選択部405が、選択情報に基づき、入力画像の全ての画素に対する処理で生成された、第一前景情報、または第二前景情報を選択して出力する例を示した。
上述の実施形態1では、選択部405が、選択情報に基づき、入力画像の全ての画素に対する処理で生成された、第一前景情報、または第二前景情報を選択して出力する例を示した。
但し、第一前景情報と第二前景情報とは、入力画像の全ての画素に対する処理で生成される情報に限定されない。したがって、例えば、入力画像の第一領域に対して生成された第一前景情報と、入力画像の第二領域に対して生成された第二前景情報とを合成して出力してもよい。そこで、図を用いて、上述の実施形態1の変形例1である画像処理装置の機能構成を説明する。図8は、画像処理装置の変形例1の機能ブロック図である。なお、図8に示す機能構成は、その機能を実現するためのプログラムを図3に示す画像処理装置123に供給し、さらに画像処理装置123が実行することで実現される。
画像処理装置は、記憶部401、背景生成部402、第一情報生成部403、第二情報生成部404、第一領域選択部406、第二領域選択部407、合成部408を有する。なお、本変形例では、図8に示す第一領域選択部406、第二領域選択部407、合成部408以外は、実施形態1と同様であることから、ここでは、その説明を省略する。
第一領域選択部406は、第一選択情報を基に、処理画素が第一領域にあるとき、入力画像と、背景画像とを第一情報生成部403に出力する。第一選択情報は、予め設定された、第一前景に対応する領域を示す情報であって、第一領域選択部406に保持される情報である。第一情報は、図5(c)に示される選択情報では、第一領域A100に対応する情報である。なお、第一情報生成部403では、第一領域選択部406から入力された、第一選択情報に対応する、入力画像と背景画像とから、前景シルエット画像と前景画像とを含む第一前景情報が生成される。
第二領域選択部407は、第二選択情報を基に、処理画素が第二領域にあるとき、現在の入力画像と過去の入力画像とを第二情報生成部404に出力する。第二選択情報は、予め設定された、第二前景に対応する領域を示す情報であって、第二領域選択部407に保持される情報である。第二情報は、図5(c)に示される選択情報では、第二領域A200に対応する情報である。なお、第二情報生成部404では、第二領域選択部407から入力された、第二選択情報に対応する、現在の入力画像と過去の入力画像とから、前景シルエット画像と前景画像とを含む第二前景情報が生成される。
合成部408は、第一情報生成部403によって生成された第一前景情報と、第二情報生成部404によって生成された第二前景情報とを合成し、処理画素に対応する情報を前景情報として出力する。
以上説明したように、本変形例によれば、第一領域に対応する第一選択情報と、第二領域に対応する第二選択情報とが個別に設定されても、実施形態1と同様、不要な前景情報の生成を抑制し、必要な前景情報を生成することが出来る。すなわち、適切な前景情報を生成することができる。
[変形例2]
上述の実施形態1では、第一情報生成部403が背景差分により第一前景情報を生成し、第二情報生成部404がフレーム差分により第二前景情報を生成する例を示した。
上述の実施形態1では、第一情報生成部403が背景差分により第一前景情報を生成し、第二情報生成部404がフレーム差分により第二前景情報を生成する例を示した。
但し、第一情報生成部403による第一前景情報の生成の手法は、背景差分に限定されない。したがって、例えば、第一情報生成部403と第二情報生成部404との何れにおいても、フレーム差分により前景情報を生成してもよい。例えば、第一情報生成部403では、現在のフレームと、現在のフレームの撮像時刻からの時間間隔が相対的に長い過去フレームとの差分から第一前景情報を生成する。第一前景情報は、相対的に動きの遅い前景を含む領域に対応した情報となる。第二情報生成部404では、現在のフレームと、現在のフレームの撮像時刻からの時間間隔が相対的に短い過去フレームとの差分から第二前景情報を生成する。第二前景情報は、相対的に動きの速い前景を含む領域に対応した情報となる。よって、相対的に動きの遅い前景を含む領域に対応した第一前景情報の生成と、相対的に動きの速い前景を含む領域に対応した前景情報の生成とを両立することが出来る。相対的に動きの速い領域や相対的に動きの遅い領域は、処理対象に応じて変更可能である。例えば、サッカーを処理対象とした場合、次のように設定してもよい。選手を相対的に動きの遅い領域に対応させ、走っている選手をフレーム差分で前景として処理画像から分離可能に設定してもよい。また、サッカーボールを相対的に動きの速い領域に対応させ、パスやドリブルやシュート時のサッカーボールをフレーム差分で前景として処理画像から分離可能に設定してもよい。現在のフレームの撮像時刻からの時間間隔が相対的に長い過去フレームは、例えば、60fps(frames per second)としたときに、現在のフレームに対して3つまたは4つ前の過去フレームとしてもよい。現在のフレームの撮像時刻からの時間間隔が相対的に短い過去フレームは、例えば、60fpsとしたときに、現在のフレームに対して2つ前の過去フレームとしてもよい。
以上説明したように、本変形例によれば、相対的に動きの遅いオブジェクトに対応する第一前景を生成するための第一前景情報と、相対的に動きの速いオブジェクトに対応する第二前景を生成するための第二前景情報と生成することが出来る。よって、実施形態1と同様、不要な前景情報の生成を抑制し、必要な前景情報を分離(生成)することが出来る。すなわち、適切な前景情報を生成することができる。
<実施形態2>
上述の実施形態1では、選択部405が、予め設定された選択情報に基づき、第一情報生成部403によって生成された第一前景情報、又は第二前景情報生成部404によって生成された第二前景情報を選択して出力する例を示した。
上述の実施形態1では、選択部405が、予め設定された選択情報に基づき、第一情報生成部403によって生成された第一前景情報、又は第二前景情報生成部404によって生成された第二前景情報を選択して出力する例を示した。
但し、選択部405が第一領域または第二領域を選択するために用いる選択情報は、予め設定された情報に限定されない。したがって、例えば、現在の撮像画像である入力画像(フレーム)と過去の撮像画像である入力画像(フレーム)との差分から生成された選択情報に基づいて、選択部405が第一前景情報または第二前景情報を選択して出力してもよい。本実施形態では、背景差分法を用いて生成した第一前景情報と、フレーム差分法を用いて生成した第二前景情報との何れかを領域毎に選択する選択情報を、入力画像の解析結果に基づいて生成する画像処理装置について説明する。本実施形態では、上述の実施形態1と同一の構成には同一符号を付記しその説明を省略する。
[画像処理装置の機能構成]
図を用いて、本実施形態の画像処理装置の機能構成について説明する。図9は、画像処理装置123の機能ブロック図である。なお、図9に示す機能構成は、その機能を実現するためのプログラムを図3に示す画像処理装置123に供給し、さらに画像処理装置123が実行することで実現される。
図を用いて、本実施形態の画像処理装置の機能構成について説明する。図9は、画像処理装置123の機能ブロック図である。なお、図9に示す機能構成は、その機能を実現するためのプログラムを図3に示す画像処理装置123に供給し、さらに画像処理装置123が実行することで実現される。
本実施形態の画像処理装置123は、記憶部401、背景生成部402、第一情報生成部403、第二情報生成部404、選択部405、選択情報生成部409を有する。
選択情報生成部409は、例えば、一定の間隔で、入力画像と、入力画像に対応する、記憶部401に記憶された過去の入力画像(過去画像)とを比較して、入力画像中の動きの有無を判定し、該判定結果に基づいて選択部405で使用する選択情報を生成する。なお、選択情報生成部409によって生成された選択情報は、選択部405に出力される。
一般に、入力画像中の動きの有無は、入力画像を、連続する複数フレーム分用い、複数フレームを検査フレームとして過去フレームとの差分を導出し、導出した差分値が所定の閾値未満となる検査フレーム数が所定回数に達するかどうかで判定される。すなわち、導出した差分値が所定の閾値未満となる検査フレーム数が所定回数に達する場合に相対的に動きが無いと判定される。導出した差分値が所定の閾値未満となる検査フレーム数が所定回数に達しない場合に相対的に動きが有ると判定される。本実施形態では、フィールド領域は相対的に略動きの無い領域、観客席領域は相対的に動きの有る領域と判定する。そのため、検査フレームの全てで過去フレームとの差分が所定の閾値未満となる領域を相対的に動きの無い領域とは判定せず、検査フレームの所定数までは過去のフレームとの差分が閾値以上となることを許容する。
選択部405は、選択情報生成部409によって生成された選択情報に基づいて、第一情報生成部403で生成する第一前景情報と第二情報生成部404で生成する第二前景情報との何れかを領域ごとに選択して出力する。
図10は、本実施形態における前景情報の生成を説明するための図である。なお、図10(a)〜(d)は、同一の撮像画像に対応する画像である。図10(a)は、第一情報生成部403によって生成された第一前景情報(前景シルエット画像)の例を示す図であり、実施形態1で説明した図5(a)と同じである。図10(b)は、第二情報生成部404によって生成された第二前景情報(前景シルエット画像)の例を示す図であり、実施形態1で説明した図5(b)と同じである。図10(c)は、選択情報生成部409によって生成された選択情報の例を示す図である。選択情報は、例えば、フィールド領域A100に対応する領域を「1」、観客席領域A200に対応する領域を「0」とする入力画像と同じサイズの1ビットの画像情報として生成される。選択情報生成部409によって生成された選択情報は、図5(c)に示す選択情報とほぼ同じとなる。図10(d)は、選択部405の出力例を示す図である。なお、選択部405は、処理画素が選択情報にて「1」の領域にあるとき、第一情報生成部403で生成された第一前景情報M100を選択して出力する。また、選択部405は、処理画素が選択情報にて「0」の領域にあるとき、第二情報生成部404で生成された第二前景情報M201を選択して出力する。図10(d)に示すように、選択部405は、図10(c)に示される選択情報に基づき、図10(a)に示される第一前景情報または図10(b)に示される第二前景情報を選択して出力することになる。よって、本実施形態の選択部405による出力は、図5(d)の出力例とほぼ同じとなる。
[効果]
以上説明したように、本実施形態によれば、選択情報を予め設定することなく、入力画像から生成した選択情報に基づいて、第一前景情報または第二前景情報を選択して出力することができる。従って、例えば、フィールド上に特別に観客席領域が設けられる場合の様に撮像装置の画角内の構造物選択領域を設定出来ない場合に動的に対応可能となる。これにより、撮像画像の領域毎に、適した前景背景分離手法を適用することで不要な前景情報の生成を抑制し、必要な前景情報を分離することが出来る。結果として、前景情報をサーバなどの画像処理部に伝送して集約し仮想視点映像を生成するシステムにおいて、伝送コストを抑制しつつ必要な前景が欠けることのない仮想視点映像を生成可能となる。
以上説明したように、本実施形態によれば、選択情報を予め設定することなく、入力画像から生成した選択情報に基づいて、第一前景情報または第二前景情報を選択して出力することができる。従って、例えば、フィールド上に特別に観客席領域が設けられる場合の様に撮像装置の画角内の構造物選択領域を設定出来ない場合に動的に対応可能となる。これにより、撮像画像の領域毎に、適した前景背景分離手法を適用することで不要な前景情報の生成を抑制し、必要な前景情報を分離することが出来る。結果として、前景情報をサーバなどの画像処理部に伝送して集約し仮想視点映像を生成するシステムにおいて、伝送コストを抑制しつつ必要な前景が欠けることのない仮想視点映像を生成可能となる。
[その他の実施形態]
また、上述の実施形態では、サッカーの試合を撮像する場合を例示したが、撮像対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。
また、上述の実施形態では、サッカーの試合を撮像する場合を例示したが、撮像対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。
本開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
403 第一情報生成部
404 第二情報生成部
404 第二情報生成部
Claims (12)
- 撮像装置の撮像により取得される撮像画像を取得する取得手段と、
前記撮像画像に対して、第一領域と、前記第一領域とは異なる第二領域とを設定する設定手段と、
前記撮像画像と前記撮像画像に対応する背景領域を少なくとも含む画像とに基づいて、前記第一領域から第一の前景領域を示す情報を生成する第1生成手段と、
前記撮像画像と、前記撮像装置の前記撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像とに基づいて、前記第二領域から前記第一の前景領域とは異なる第二の前景領域を示す情報を生成する第2生成手段と
を有することを特徴とする画像処理装置。 - 前記設定手段は、前記撮像画像において連続する2つのフレームの差分で前景を検出不可である領域に対して前記第一領域を設定し、前記撮像画像において連続する2つのフレームの差分で前景を検出可能である領域に対して前記第二領域を設定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記撮像画像を、連続する複数フレーム分用い、フレーム差分により、動きが相対的に無いと判定された領域に対し前記第一領域を設定し、動きが相対的にあると判定された領域に対し前記第二領域を設定する選択情報を生成する第3生成手段をさらに備え、
前記設定手段は、前記第3生成手段によって生成された前記選択情報を基に、前記第一領域または前記第二領域を選択する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記設定手段は、ユーザによって予め指定された選択情報に基づいて、前記第一領域及び前記第二領域を設定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記選択情報は、前記撮像画像と同じサイズの画像であって、領域毎に選択する情報を1ビットで表す前記画像として生成される
ことを特徴とする請求項3または4に記載の画像処理装置。 - 前記第一の前景領域を示す情報は、前記第一領域の前景に対応する第一前景シルエット画像と、対応する前記撮像画像と前記第一前景シルエット画像から前記第一領域を切り出した画像とを含み、
前記第二の前景領域を示す情報は、前記第二領域の前景に対応する第二前景シルエット画像と、対応する前記撮像画像と前記第二前景シルエット画像から前記第二領域を切り出した画像とを含む
ことを特徴とする請求項1から5の何れか一項に記載の画像処理装置。 - 前記第一の前景領域を示す情報は、前記撮像画像に含まれ、動きが相対的に遅いオブジェクトに対応する領域を示す情報であり、
前記第二の前景領域を示す情報は、前記撮像画像に含まれ、動きが相対的に速いオブジェクトに対応する領域を示す情報である
ことを特徴とする請求項1から6の何れか一項に記載の画像処理装置。 - 前記第一の前景領域を示す情報と、前記第二の前景領域を示す情報とを合成して、前記撮像画像に含まれるオブジェクトに対応する前景情報を生成する合成手段をさらに有することを特徴とする請求項1から7の何れか一項に記載の画像処理装置。
- 前記撮像画像に対応する背景領域を少なくとも含む前記画像は、前記撮像装置の前記撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像であり、
前記第1生成手段が前記第一の前景領域を示す情報の生成に用いる前記他の撮像画像は、前記撮像画像の撮像時刻からの時間間隔が相対的に長い過去の撮像画像であり、
前記第2生成手段が前記第二の前景領域を示す情報の生成に用いる前記他の撮像画像は、前記撮像画像の撮像時刻からの時間間隔が相対的に短い過去の撮像画像であり、
前記第1生成手段及び前記第2生成手段は、画像同士の差分から、前記第一の前景領域を示す情報及び前記第二の前景領域を示す情報をそれぞれ生成する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第一領域は、前景であるオブジェクトが競技を行うフィールドを示す領域であり、
前記第二領域は、前記競技を観る観客がいる観客席を示す領域であることを特徴とする請求項1から9の何れか一項に記載の画像処理装置。 - コンピュータを請求項1から10の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 撮像装置の撮像により取得される撮像画像を取得する取得工程と、
前記撮像画像に対して、第一領域と、前記第一領域とは異なる第二領域とを設定する設定工程と、
前記撮像画像と前記撮像画像に対応する背景領域を少なくとも含む画像とに基づいて、前記第一領域から第一の前景領域を示す情報を生成する第1生成工程と、
前記撮像画像と、前記撮像装置の前記撮像と同じ位置及び同じ方向であって異なるタイミングにおける前記撮像装置の撮像によって取得される他の撮像画像とに基づいて、前記第二領域から前記第一の前景領域とは異なる第二の前景領域を示す情報を生成する第2生成工程と
を含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088782A JP2021184522A (ja) | 2020-05-21 | 2020-05-21 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088782A JP2021184522A (ja) | 2020-05-21 | 2020-05-21 | 画像処理装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021184522A true JP2021184522A (ja) | 2021-12-02 |
Family
ID=78767624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020088782A Pending JP2021184522A (ja) | 2020-05-21 | 2020-05-21 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021184522A (ja) |
-
2020
- 2020-05-21 JP JP2020088782A patent/JP2021184522A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7121470B2 (ja) | 画像処理システム、制御方法、及び、プログラム | |
US20200134911A1 (en) | Methods and Systems for Performing 3D Simulation Based on a 2D Video Image | |
JP7187182B2 (ja) | データ生成装置、方法およびプログラム | |
JP7179515B2 (ja) | 装置、制御方法、及びプログラム | |
US10812770B2 (en) | Image processing system, image processing apparatus, image processing method, and program | |
US11677925B2 (en) | Information processing apparatus and control method therefor | |
JP7042571B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP2018116537A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019022151A (ja) | 情報処理装置、画像処理システム、制御方法、及び、プログラム | |
US20180376131A1 (en) | Image processing apparatus, image processing system, and image processing method | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US20240185480A1 (en) | Image processing system, image processing method, and storage medium | |
US10659673B2 (en) | Control apparatus, control method, and non-transitory computer-readable storage medium | |
US11295453B2 (en) | Image processing apparatus, transmission method, and storage medium | |
JP2021184522A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2020046960A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP7476160B2 (ja) | 情報処理装置、情報処理システム、及びプログラム | |
JP2021034972A (ja) | 情報処理システム、情報処理方法、及びプログラム | |
JP2024096896A (ja) | 情報処理装置、情報処理システム、及びプログラム | |
JP2021093648A (ja) | 画像データ処理装置、画像データ処理方法、及びプログラム | |
JP2019080183A (ja) | 画像伝送装置、画像伝送方法、及びプログラム | |
JP2018191236A (ja) | 情報処理システム、情報処理方法、装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240618 |