JP2011221455A - 画像処理装置、画像投影システム及び画像処理方法 - Google Patents

画像処理装置、画像投影システム及び画像処理方法 Download PDF

Info

Publication number
JP2011221455A
JP2011221455A JP2010093311A JP2010093311A JP2011221455A JP 2011221455 A JP2011221455 A JP 2011221455A JP 2010093311 A JP2010093311 A JP 2010093311A JP 2010093311 A JP2010093311 A JP 2010093311A JP 2011221455 A JP2011221455 A JP 2011221455A
Authority
JP
Japan
Prior art keywords
image
area
projection
images
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010093311A
Other languages
English (en)
Other versions
JP5645448B2 (ja
Inventor
Hirokazu Akisada
浩和 秋定
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010093311A priority Critical patent/JP5645448B2/ja
Publication of JP2011221455A publication Critical patent/JP2011221455A/ja
Application granted granted Critical
Publication of JP5645448B2 publication Critical patent/JP5645448B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】マルチプロジェクションシステムにより複数の画像を並べて投影する際に、任意の全体画像において被写体が不鮮明になることを防止できるようにする。
【解決手段】複数の画像を重畳領域において重ねて並べることによりスクリーンへ全体画像を投影するマルチプロジェクションシステムにおいて、オブジェクト設定部15は、全体画像のデータからオブジェクト及びその位置を検出する。重畳領域算出部16は、オブジェクト設定部15において検出された個々のオブジェクトの位置に応じて、前記検出された個々のオブジェクトの面積の割合が分割される何れかの画像において最大となるように前記重畳領域を算出する。
【選択図】図2

Description

本発明は画像処理装置、画像投影システム、画像処理方法及びプログラムに関し、特に、マルチプロジェクションシステムに用いて好適な技術に関する。
従来、複数のプロジェクタからの部分画像をタイル状に並べたり、スタックしたりして投影することにより、同一画像を構成するマルチプロジェクションディスプレイが知られている。特にタイル状に並べて投影する場合、投影時にスクリーン上に生ずる境界を目立たなくするために、各プロジェクタの投影領域を一部重ね合わせるように投影することが一般的に行われている。この重なり領域(重畳領域)においては、通常、重なり領域以外に比べて輝度が高くなったり、幾何学的な歪みに起因したボケなどが生じたりするため、この重なり領域の画質改善を行う技術が従来から種々提案されている。
一方、マルチ画面で表示する際に、画像中に存在するオブジェクト(被写体)に境界が重ならないようにして、画像を鑑賞する際の違和感を低減する技術も提案されている。例えば、特許文献1に記載のカメラ制御システムによれば、複数の並べた画面にカメラ映像を表示する時、撮影している被写体が画面の境界をまたがないように、かつすべての被写体が当該複数の画面のいずれかに含まれるようにカメラを制御している。これにより、被写体が画面の境界(フレーム)に隠れてしまっているように見えてしまい、映像を見る側にとって被写体が詳細に見えない等の違和感が生じることを防いでいる。
また、例えば、特許文献2に記載の映像表示システムによれば、タイル状に並べて投影する際に、視覚的に最も注目される頻度の高い画像中央部の広い範囲を高解像度のプロジェクタで投影し、周辺部分を複数の低解像度のプロジェクタで投影している。これにより、表示用スクリーンにおいて複数のプロジェクタによって投影された画像のつなぎ目(境界)が目立たないようにして、かつ規定の画像表示サイズフォーマットに対応した画像投影を行うようにしている。
特開2009−10941号公報 特開2007−206356号公報
しかしながら、特許文献1に記載のカメラ制御システムでは、撮影している被写体の位置に応じてカメラのフレーミング位置を変更して対処するため、入力映像が映画などの固定の映像である場合には、対応ができない。また、被写体が動く場合はカメラのフレーミング位置が頻繁あるいは連続的に変化するため、表示画像が著しく見づらくなってしまう。
また、特許文献2に記載の映像表示システムでは、表示映像の中央部以外に被写体が存在する場合には、被写体を高解像度にすることができない。特に、映画やTVドラマなどの映像においては、オブジェクト(被写体)が画面の周囲に存在する場面(シーン)も多い。したがって、このようなシーンを含む映像が入力された場合に、被写体と重畳領域とが重なってしまうことも頻繁に発生し、映像が見にくくなってしまう。
本発明は前述の問題点に鑑み、マルチプロジェクションシステムにより複数の画像を並べて投影する際に、任意の全体画像において被写体が不鮮明になることを防止できるようにすることを目的としている。
本発明の画像処理装置は、複数の画像を重畳領域において重ねて並べることによりスクリーンへ全体画像を投影する複数の投影手段とともに、画像投影システムを構成する画像処理装置であって、前記全体画像のデータからオブジェクト及びその位置を検出する検出手段と、前記重畳領域を含むように、前記全体画像が分割された複数の画像を生成する生成手段と、前記生成手段によって生成された複数の画像をそれぞれ、前記複数の投影手段に出力する出力手段と、前記検出手段によって検出された個々のオブジェクトの位置に応じて、前記検出された個々のオブジェクトの面積の割合が前記分割される何れかの画像において最大となるように前記重畳領域を算出する算出手段とを有することを特徴とする。
本発明によれば、オブジェクトの位置、個数、及び動作状態にかかわらず、オブジェクトを避けた位置に重畳領域を配置することができる。これにより、映像の鑑賞者がタイリング投影よる映像を鑑賞する際に重畳領域を目立たなくしたマルチプロジェクションシステムを提供することができる。
実施形態に係る画像投影システムの全体構成例を示す図である。 第1の実施形態の映像サーバの内部構成例を示すブロック図である。 映像をタイリング投影する処理手順の一例を示すフローチャートである。 第1の実施形態の重畳領域算出手順の一例を示すフローチャートである。 第1の実施形態の領域分割する詳細な手順の一例を示す図である。 実施形態に係る投影領域占有度テーブルの一例を示す図である。 第1の実施形態の領域分割する詳細な手順の一例を示す図である。 第2の実施形態の映像サーバの内部構成例を示すブロック図である。 第2の実施形態の重畳領域算出手順の一例を示すフローチャートである。 第2の実施形態の領域分割する詳細な手順の一例を示す図である。
(第1の実施形態)
以下、添付図面を参照しながら、本発明の実施形態に係るマルチプロジェクションシステムについて説明する。具体的には、タイル状に並べて投影(以下、タイリング投影)する際に、入力された映像内のオブジェクトに応じて重畳領域の位置や幅を動的に変更するタイリング投影システムの好適な実施形態について説明する。
図1は、本実施形態の画像投影システムの全体構成例を示す図である。
図1に示すように、本実施形態に係る画像投影システムは、映像サーバ1と、映像サーバ1に接続された4台のプロジェクタ2a〜2dと、投影された映像を表示するためのスクリーン3とから構成されている。
映像サーバ1は画像処理装置として機能し、入力映像に対して重畳領域を算出し、タイリング投影を行うためのタイル映像を生成して4台のプロジェクタ2a〜2dへ出力する。また、映像サーバ1は、本実施形態に係る画像投影システム全体の動作も管理する。4台のプロジェクタ2a〜2dは、スクリーン3において横縦のサイズが2×2の構成からなるタイリング投影により、映像を形成するように設置されている。ここで、各プロジェクタ2a〜2dの投影領域4a〜4dは、図1に示すように隣り合う投影領域が、例えば、個々の投影領域の横縦のサイズの30〜40%程度の重なり領域(オーバーラップ領域)5を有するようにする。
図2は、本実施形態の画像投影システムにおける映像サーバ1の内部構成例を示すブロック図である。
図2において、映像サーバ1は、コマンド入力部12、投影領域記憶部13、映像入力部14、オブジェクト設定部15、重畳領域算出部16、画像生成部17、映像出力部18、表示部19、及びシステム制御部11を備えている。そして、これらの各構成を接続するために不図示のバスを備えている。
コマンド入力部12はボタンなどのインターフェイスからなり、システムの管理者(ユーザ)の各種指示を、バスを介してシステム制御部11へ出力する。投影領域記憶部13は、スクリーン3上における横縦のタイリング構成、全体の投影領域の横縦のサイズ、各プロジェクタの投影領域の横縦のサイズ、及びオーバーラップ領域5の横縦のサイズなどの情報を記憶する。映像入力部14は、投影する全体映像の映像データを入力するためのインターフェイスである。映像入力部14には、ビデオケーブル、LANなどの映像伝達経路やUSB等の外部ストレージが接続され、それらを介して映像データを受信し、オブジェクト設定部15へ出力する。なお、映像入力部14は、静止画像及び動画像のいずれのタイプの映像データも入力することができる。
オブジェクト設定部15は、入力された映像データから画像解析によりオブジェクト情報を取得する。なお、動画像の場合は、フレームごとにオブジェクト情報を取得する。つまり、入力された映像データから、顔認証などによりオブジェクトを検出し、映像中に存在する1つ以上の人物や物体などのオブジェクトの領域を算出する。そして、これらの情報を重畳領域算出部16に出力する。重畳領域算出部16は、オブジェクト設定部15から入力されたオブジェクト領域情報と、投影領域記憶部13に記憶されているオーバーラップ領域5の情報とを元に、入力された映像に対して適切な領域分割を行う。そして、後述する投影領域占有度テーブルを用いて、オーバーラップ領域5における重畳領域を算出する。
画像生成部17は、重畳領域算出部16において算出した重畳領域に基づき、入力された映像内のそれぞれの投影領域4a〜4dの対応した部分に対して適切にクロッピングを施す。そして、それぞれのプロジェクタ2a〜2d用の4個のタイル画像を生成する。映像出力部18は、当該生成したタイル画像を、それぞれのプロジェクタ2a〜2dへ出力するためのものである。システム制御部11は、不図示のRAMに記憶されている画像投影システムのアプリケーションプログラムに基づいて自ら演算処理等を行い、あるいは上述した各構成要素を制御し、システムを機能させる。表示部19は、映像サーバ1において各種設定等を行うための画面など、タイリング投影に必要な画面を表示するためのものである。
次に、図3及び図4を参照しながら、本実施形態の画像投影システムの処理の流れについて説明する。図3は、本実施形態において、映像をタイリング投影する処理手順の一例を示すフローチャートである。
システムの管理者がコマンド入力部12を操作することにより、映像サーバ1に対して処理開始の命令を与える。すると、システム制御部11が不図示の記憶装置に格納されているシステム制御用のプログラムを不図示のRAM上で展開し、表示部19の画面上に必要な情報を提示し、処理を開始する。
まず、ステップS301において、システム制御部11は、表示部19の画面上に必要な情報を提示して、図1における投影領域4a〜4dの関連したデータを入力するよう促す。本実施形態では、システムの管理者がコマンド入力部12から、以下のデータを入力したものとして説明する。
・タイリング構成(横×縦):2×2
・投影領域全体のサイズ(Tx、Ty):8.0m、6.0m
・各プロジェクタの投影領域サイズ(Px、Py):5.0m、3.75m
・オーバーラップ領域5のサイズ(Sx、Sy):2.0m、1.0m
なお、本実施形態においては、4つのプロジェクタ2a〜2dの投影領域のサイズは同じであるものとする。また、本実施形態においては、投影領域のデータをシステムの管理者が入力しているが、4つのプロジェクタ2a〜2dから各々異なるテストパターンを投影し、このテストパターンを撮影した画像を解析して上記のデータを入力するようにしてもよい。
そして、ステップS302において、システム制御部11は、映像入力部14を介して映像データを入力する。本実施形態では、例えば図5(a)に示すような全体画像501を取得するものとして説明する。次に、ステップS303において、システム制御部11の制御によりオブジェクト設定部15は、入力された映像に対して、例えば、顔認識などの識別処理を行い、N個のオブジェクト(被写体)の領域及び位置を抽出する。図5(a)に示す例では、全体画像501において5個のオブジェクト領域503を抽出することになる。なお、当該抽出したそれぞれのオブジェクト領域503に対しては、便宜上、図5(a)に示すように、画像の左側から順にインデックスが付与されて管理されるものとする。また、オブジェクト領域503を算出する方法としては、公知のいかなる抽出アルゴリズムを用いてよいため、説明を省略する。次に、ステップS304において、システム制御部11の制御により重畳領域算出部16は、重畳領域算出処理を実行する。
図4は、ステップS304における重畳領域算出処理の詳細な手順の一例を示すフローチャートである。なお、図4に示す各処理は、システム制御部11の制御により重畳領域算出部16が行うものである。
まず、ステップS401において、各オブジェクト領域503を基準として、入力された全体画像501に対して領域分割を行う。例えば、図5(a)に示すように、抽出したオブジェクト領域503の例えば重心などの基準点を母点としたボロノイ領域504に分割する。
ここで、ボロノイ(Voronoi)領域とは、ある距離空間上の任意の位置に配置された複数個の点(母点)に対して、同一距離空間上の他の点がどの母点に近いかによって分けされた領域のことである。つまり、距離空間内の有限部分集合P={p1,p2,・・・pn}及び距離関数dに対して、
V(pi)={p|d(p,pi)≦d(p,pj),j≠i}
で構成される領域V(pi)のことを指す。図5(a)に示す例では、N=5であるため、ボロノイ境界505により5つのボロノイ領域504に分割される。
次に、ステップS402において、例えば図6(a)に示すように、ステップS303で抽出されたそれぞれのオブジェクト領域503が各投影領域にどの程度の割合(%)で含まれているかを示す投影領域占有度テーブル601を作成する。図6(a)においては、各オブジェクトの最大占有度(100%)の投影領域のセルは丸印602で示している。以下、このような投影領域を優先投影領域と定義する。ここで、最大占有度の投影領域が複数ある場合は、各オブジェクトのボロノイ領域504との共通部分の面積が最大の投影領域のセルを優先投影領域とする。
次に、ステップS403において、カウンターiを1に初期化する。そして、ステップS404において、カウンターiがオブジェクト数N以内であるかどうかを判断する。この判断の結果、オブジェクト数N以内である場合は、次のステップS405に進む。
そして、ステップS405において、投影領域占有度テーブル601と投影領域の境界502とに基づき、i番目のボロノイ領域の内部領域分割と投影領域割当とを行う。ここで、内部領域分割とは、1つのボロノイ領域の中で、投影領域の境界502により領域を分割する処理である。また、投影領域割当とは、図5(b)に示すように、分割領域に対して、投影領域4a〜4dに対応した"A"、"B"、"C"、"D"のいずれかのラベル506を付与する処理である。
ラベルを付与する処理は次のように行う。まず、i番目のボロノイ領域を包含する投影領域がある場合は、i番目のオブジェクトの優先投影領域のラベル506を、当該ボロノイ領域の全体に付与する。一方、そのような投影領域がない場合、i番目のオブジェクトの優先投影領域の境界で、当該ボロノイ領域を内部分割し、各分割領域に適切なラベル506を付与する。例えば、2番目のオブジェクトのボロノイ領域を包含する投影領域は存在しない。したがって、2番目のオブジェクトの優先投影領域である「投影領域4a」の境界で当該ボロノイ領域を内部分割し、分割領域に対し、図5(b)に示すように"A"と"C"のラベル506を付与する。
次に、ステップS406において、iを1インクリメントし、ステップS404に戻る。一方、ステップS404の判断の結果、カウンターiがオブジェクト数N以内で無い場合は、ステップS407に進む。そして、同じラベルが付与された領域をグルーピングし、例えば図5(b)に示すように、各グループの境界に適切な幅dを持った重畳領域507を設定する。以上により、ステップS304の重畳領域算出処理を終了する。
図3の説明に戻り、次に、ステップS305において、システム制御部11の制御により画像生成部17は、タイル画像を生成する。図5(b)に示す例では、まず、入力された全体画像501を4つの投影領域4a〜4dに対応した部分にトリミングし、4個の部分画像を求める。次に、各部分画像に対してステップS304で求めた重畳領域に基づいてクロッピングを施し、図5(c)に示すような各プロジェクタ用のタイル画像510a〜510dを算出する。ここで、クロッピングとは、画像における不要部分の画素に最低輝度である黒のデータ(例えば(R,G,B)=(0,0,0))をセット(付加)する処理である。
そして、ステップS306において、システム制御部11の制御により映像出力部18は、タイル画像510a〜510dをそれぞれ、4つのプロジェクタ2a〜2dを介してスクリーン3上へ投影する。この結果、スクリーン3上には、入力された全体画像を2×2分割でタイリング投影された映像が形成される。この際、投影された映像のオーバーラップ領域5内部の重畳領域ではそれぞれのタイル画像が一致するように投影される。
一方、オーバーラップ領域5における重畳領域以外の部分では、黒の画像が他の黒でないタイル画像と重なるが、全体画像の輝度が十分に高く、黒画像側の黒浮きは無視できる。なお、本実施形態では、重畳領域507内部の位置・色・輝度などの補正については特に言及しないが、公知の補正アルゴリズムを用いて補正処理を施してもよい。これにより、さらに表示画像における違和感を軽減することができる。
[他の入力画像の場合]
次に、図3のステップS302において、例えば図7(a)に示すように、映像入力部14がある程度大きいオブジェクトが映っている全体画像701を入力した場合について説明する。次のステップS303においては、図7(a)に示すようなオブジェクト領域703が抽出され、ステップS304の重畳領域算出部16が実行する重畳領域算出処理では、以下のように行われる。
まず、ステップS401では、抽出した各オブジェクト領域の重心などの基準点を母点として、ボロノイ境界705によりボロノイ領域704にボロノイ分割する。次に、ステップS402では、抽出されたオブジェクト領域703を用いて、全体画像701の図6(b)に示すような投影領域占有度テーブル611を作成する。ただし、図8(b)に示す例では、3番目のオブジェクトに関しては、100%の占有度を有する投影領域が存在しない。そこで、図6(b)では、最も占有度の高いものを丸印612で示している。
ステップS405では、投影領域占有度テーブル611と投影領域の境界702とに基づいて、i番目のボロノイ領域の内部領域分割と投影領域割当とを行う。例えば、2番目のオブジェクトにおいては、2番目のボロノイ領域全体が投影領域4aに包含される。したがって、図7(b)に示すように、この優先投影領域である投影領域4aを表す"A"のラベル706を、2番目のボロノイ領域全体へ付与する。一方、3番目のボロノイ領域の場合は、3番目のオブジェクト全体を包含する投影領域は存在しない。したがって、図6(b)の丸印612に示した優先投影領域である投影領域4bの境界で内部分割し、3番目のオブジェクトを含む各分割領域に対し"B"及び"D"のラベル706を付与する。
そして、同じラベルが付与された領域の集合同士をグルーピングして各グループの境界に適切な幅dを持った重畳領域707を設定し、図7(c)に示すようなタイル画像710a〜710dが生成される。
以上のような処理により、1番目のオブジェクト及び2番目のオブジェクトを避けた位置に重畳領域が配置される。一方、3番目のオブジェクトの領域はオーバーラップ領域5をまたいでいるため、3番目のオブジェクトの領域上に重畳領域が配置される。しかしながら、優先投影領域である投影領域4bにこの3番目のオブジェクトの広範囲が含まれるように投影されるので、鑑賞者にとっての違和感を低減したタイリング投影を実現することができる。
また、全体画像が静止画像と動画像のいずれの場合も、同様の効果を得ることができ、入力される全体画像が映像ソフトのような固定の映像であっても、リアルタイムに内容が制御可能な映像であっても同様の効果を得ることができる。さらには、重畳領域が目立たない位置に配置されるため、重畳領域の内部に対して厳密に補正処理を加えることを不要にすることができる。
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。本実施形態の画像投影システム全体の構成は図1と同様であるため、その説明は省略する。
図8は、本実施形態における映像サーバ1の内部構成例を示すブロック図である。本実施形態においては、優先順位設定部20が追加されている点が図2と異なっており、その他の構成は図2と同様である。したがって、図2と共通する構成については説明を省略する。
優先順位設定部20は、オブジェクト設定部15が抽出した複数のオブジェクト領域に対する優先順位を設定するためのものである。
次に、本実施形態の画像投影システムの処理について説明する。なお、映像をタイリング投影する処理手順は第1の実施形態で説明した図3と同様であるため、その詳細な説明は省略する。以下、図9及び図10を参照しながら、本実施形態のタイリング投影システムにおける重畳領域を算出する処理について説明する。本実施形態では、第1の実施形態と同様に、図10(a)に示すような全体画像1001を取得し、顔認識などの識別処理によりオブジェクト領域1003を抽出したものとして説明する。
図9は、ステップS304における重畳領域算出処理の詳細な手順の一例を示すフローチャートである。なお、ステップS902を除く図9に示す各処理は、システム制御部11の制御により重畳領域算出部16が行うものである。
まず、ステップS901において、抽出した各オブジェクト領域の重心などの基準点を母点として、ボロノイ境界1005によりボロノイ領域1004にボロノイ分割を行う。次に、ステップS902において、重畳領域算出部16の指示により優先順位設定部20は、抽出したオブジェクトの優先順位を設定する。以下の説明では、例えば、次のようなオブジェクトの優先順位が設定されたものとする。
4番目>1番目>2番目>5番目>3番目
優先順位の設定方法としては、任意のアルゴリズムが採用できるものとする。例えば、抽出したオブジェクト領域の面積に応じて優先順位を設定してもよく、当該オブジェクトのピントが合っているかどうかなどのフォーカス情報を基本として優先順位を決定してもよい。また、映像データの付帯情報(メタ情報)に記録された優先順位情報に基づいて設定してもよい。さらには、本実施形態の画像投影システムをビデオ会議システムに適用する場合には、映像中の注目オブジェクト(「話者」、「前話者」、「ホワイトボード」など)を優先順位の上位にし、他のオブジェクトを下位に設定するようにしてもよい。
次に、ステップS903において、抽出したオブジェクト領域1003に基づき、図6(c)に示すような投影領域占有度テーブル621を作成する。本実施形態では、投影領域占有度テーブル621における各オブジェクトの丸印623に示す優先投影領域は、オブジェクトの優先順位622を用いて決定される。
例えば、優先順位622が1位の4番目のオブジェクトについては、そのボロノイ領域との共通部分の面積が最大の投影領域4bを優先投影領域とする。一方、優先順位が2位以下の各オブジェクトについては、最大占有度の投影領域が複数あり、かつ、優先順位622が上位であるオブジェクトの優先投影領域の中に一致するものがある場合、その投影領域を当該オブジェクトの優先投影領域とする。なおこの処理は、優先順位が下位のオブジェクトの優先投影領域をなるべく上位のオブジェクトの当該優先投影領域に揃えることを目的としている。この処理とステップS906のラベル付け処理との組み合わせにより、上位のオブジェクトの優先投影領域のラベル1006がより多くなる。そして、ステップS904〜S908では、図4のステップS404〜S408と同様の処理により重畳領域1007を算出する。
図10(b)に示す例では、3番目のオブジェクトのボロノイ領域については、当該ボロノイ領域を全て包含する投影領域は存在しない。したがって、ステップS906では、当該3番目のオブジェクトの優先投影領域である投影領域4bの境界1002で、当該ボロノイ領域を内部分割し、各分割領域へ"B"、"A"、"C"のラベル1006を付与する。その結果、ステップS305では、図10(c)に示すような4つのタイル画像1010a〜1010dが生成される。
以上のように本実施形態によれば、優先順位が上位のオブジェクトの周囲が単一のプロジェクタを介してより広く投影されるようになる。このため、投影された映像における違和感をさらに軽減することができる。
(その他の実施形態)
以上の実施形態では、全体画像に存在する"人物"をオブジェクトとして抽出する場合の実施形態について示したが、本発明はそれに限らない。例えば、プレゼンテーション資料の画像を入力し、当該資料を構成する"文字や単語、あるいは文章"や"図表"などをオブジェクトとして抽出した場合も同様の効果が得られる。さらには、関連のあるオブジェクト同士のまとまり(グループ)を1つのオブジェクトの単位として、本発明を適応しても同様の効果が得られる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
15 オブジェクト設定部、16 重畳領域算出部、17 画像生成部、18 映像出力部

Claims (10)

  1. 複数の画像を重畳領域において重ねて並べることによりスクリーンへ全体画像を投影する複数の投影手段とともに、画像投影システムを構成する画像処理装置であって、
    前記全体画像のデータからオブジェクト及びその位置を検出する検出手段と、
    前記重畳領域を含むように、前記全体画像が分割された複数の画像を生成する生成手段と、
    前記生成手段によって生成された複数の画像をそれぞれ、前記複数の投影手段に出力する出力手段と、
    前記検出手段によって検出された個々のオブジェクトの位置に応じて、前記検出された個々のオブジェクトの面積の割合が前記分割される何れかの画像において最大となるように前記重畳領域を算出する算出手段とを有することを特徴とする画像処理装置。
  2. 前記算出手段は、前記オブジェクトを基準とする分割領域に基づいて前記重畳領域を算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記算出手段は、前記オブジェクトの優先順位に基づいて前記重畳領域を算出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記算出手段は、前記検出されたオブジェクト全体が前記分割される何れかの画像に含まれるように前記重畳領域を算出することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。
  5. 前記出力手段は、前記生成手段によって生成されたそれぞれの画像に最低輝度の画素からなる領域を付加して前記複数の投影手段に出力することを特徴とする請求項1に記載の画像処理装置。
  6. 前記分割領域は、前記全体画像におけるオブジェクトの基準点を母点とするボロノイ領域であることを特徴とする請求項2に記載の画像処理装置。
  7. 前記全体画像は、静止画像または動画像であることを特徴とする請求項1に記載の画像処理装置。
  8. 請求項1〜7の何れか1項に記載の画像処理装置と、前記複数の投影手段とを有することを特徴とする画像投影システム。
  9. 複数の画像を重畳領域において重ねて並べることによりスクリーンへ全体画像を投影する複数の投影手段とともに、画像投影システムを構成する画像処理装置における画像処理方法であって、
    前記全体画像のデータからオブジェクト及びその位置を検出する検出工程と、
    前記重畳領域を含むように、前記全体画像が分割された複数の画像を生成する生成工程と、
    前記生成工程において生成された複数の画像をそれぞれ、前記複数の投影手段に出力する出力工程と、
    前記検出工程において検出された個々のオブジェクトの位置に応じて、前記検出された個々のオブジェクトの面積の割合が前記分割される何れかの画像において最大となるように前記重畳領域を算出する算出工程とを有することを特徴とする画像処理方法。
  10. 複数の画像を重畳領域において重ねて並べることによりスクリーンへ全体画像を投影する複数の投影手段とともに、画像投影システムを構成する画像処理装置を制御するためのプログラムであって、
    前記全体画像のデータからオブジェクト及びその位置を検出する検出工程と、
    前記重畳領域を含むように、前記全体画像が分割された複数の画像を生成する生成工程と、
    前記生成工程において生成された複数の画像をそれぞれ、前記複数の投影手段に出力する出力工程と、
    前記検出工程において検出された個々のオブジェクトの位置に応じて、前記検出された個々のオブジェクトの面積の割合が前記分割される何れかの画像において最大となるように前記重畳領域を算出する算出工程とをコンピュータに実行させることを特徴とするプログラム。
JP2010093311A 2010-04-14 2010-04-14 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP5645448B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010093311A JP5645448B2 (ja) 2010-04-14 2010-04-14 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010093311A JP5645448B2 (ja) 2010-04-14 2010-04-14 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011221455A true JP2011221455A (ja) 2011-11-04
JP5645448B2 JP5645448B2 (ja) 2014-12-24

Family

ID=45038474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010093311A Expired - Fee Related JP5645448B2 (ja) 2010-04-14 2010-04-14 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5645448B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060327A (ja) * 2013-09-17 2015-03-30 株式会社リコー 投影装置、投影方法及び情報処理システム
JP2015169758A (ja) * 2014-03-06 2015-09-28 三菱電機株式会社 マルチ大画面表示システム、表示端末及び配信サーバー
US10911728B2 (en) 2018-08-29 2021-02-02 Seiko Epson Corporation Control device, multi-projection system and control method of control device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007079028A (ja) * 2005-09-13 2007-03-29 Canon Inc 投射型画像表示装置およびマルチプロジェクションシステム
JP2007206356A (ja) * 2006-02-01 2007-08-16 Olympus Corp 映像表示システム
JP2009075488A (ja) * 2007-09-24 2009-04-09 Brother Ind Ltd プロジェクタシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007079028A (ja) * 2005-09-13 2007-03-29 Canon Inc 投射型画像表示装置およびマルチプロジェクションシステム
JP2007206356A (ja) * 2006-02-01 2007-08-16 Olympus Corp 映像表示システム
JP2009075488A (ja) * 2007-09-24 2009-04-09 Brother Ind Ltd プロジェクタシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060327A (ja) * 2013-09-17 2015-03-30 株式会社リコー 投影装置、投影方法及び情報処理システム
JP2015169758A (ja) * 2014-03-06 2015-09-28 三菱電機株式会社 マルチ大画面表示システム、表示端末及び配信サーバー
US10911728B2 (en) 2018-08-29 2021-02-02 Seiko Epson Corporation Control device, multi-projection system and control method of control device
US11290695B2 (en) 2018-08-29 2022-03-29 Seiko Epson Corporation Control device, multi-projection system and control method of control device

Also Published As

Publication number Publication date
JP5645448B2 (ja) 2014-12-24

Similar Documents

Publication Publication Date Title
JP6970283B2 (ja) 画像ステッチング方法および装置、記憶媒体
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
JP3918860B2 (ja) 仮想空間生成システム
TWI410132B (zh) Data generation device, data generation method and program product
JP6039619B2 (ja) 上映劇場パラメータの管理装置
EP2765769A1 (en) Image processing method and image processing device
US20130328918A1 (en) Image processing device, image processing method, and program
CN105898138A (zh) 全景视频播放方法及装置
JP2009251141A (ja) 立体画像表示装置
TWI408945B (zh) A data generating apparatus, a data generating method, and a recording medium
Turban et al. Extrafoveal video extension for an immersive viewing experience
CN105898338A (zh) 全景视频播放方法及装置
JP2019146155A (ja) 画像処理装置、画像処理方法およびプログラム
JP5787644B2 (ja) 画像処理装置および画像処理装置の制御方法
JP5645448B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2004056359A (ja) 画像合成装置及び画像合成プログラム
CN111913343B (zh) 一种全景图像显示方法及装置
JP5771096B2 (ja) 画像処理方法
US20080316299A1 (en) Virtual stereoscopic camera
CN104038748B (zh) 多通道数据融合矫正方法
JPWO2018087856A1 (ja) 映像合成装置及び映像合成方法
US20200225467A1 (en) Method for projecting immersive audiovisual content
CN108702465B (zh) 用于在虚拟现实系统中处理图像的方法和装置
CN110290332A (zh) 一种叠加图像的方法和装置
CN113938752A (zh) 一种处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141104

LAPS Cancellation because of no payment of annual fees