JP2016119567A - 画像処理装置、画像処理方法、電子機器、及び画像処理プログラム - Google Patents

Abstract

【課題】表示板の表示エリアが遮蔽されている画像領域の表示内容を表示することが可能な画像処理装置等を提供する。【解決手段】画像処理装置（画像処理部１、１ａ）は、撮影画像の１つを判定画像とし、当該判定画像における表示領域の少なくとも一部が遮蔽されていることが判定される場合、判定画像と異なる撮影画像である選択画像における、判定画像の遮蔽されている領域と対応する領域が遮蔽されていない表示領域を、判定画像の表示領域に重畳させる。【選択図】図１

Description

本発明は、複数の撮影部により撮影された画像を処理する画像処理装置、画像処理方法、電子機器、及び画像処理プログラムに関する。

従来、会議室等でプレゼンテーションが行われる際に、大画面の表示板が利用されており、聴講者は、発表者の腕等により遮られた表示画面の内容を確認できないことがある。そこで、発表者の腕等により遮られた表示画面の内容を表示する技術が、知られている。例えば、特許文献１には、タッチパネルディスプレイの画面に操作者が手書きを行っている様子が撮影された画像と、タッチパネルディスプレイに表示されている画像と、を合成して表示する画像表示装置が記載されている。また例えば、特許文献２には、現フレームと、以前のフレームである基準フレームとを合成し表示する技術が開示されている。

特開２０１１‐４４０６１号公報（２０１１年３月３日公開） 特開２０１２‐６４２１４号公報（２０１２年３月２９日公開） 特開２０１２‐１４６９７号公報（２０１２年７月２６日公開）

しかしながら、特許文献１では、発表者の手書き内容は、タッチパネルディスプレイに表示されている文字や画像であるため、手書き内容を認識できるディスプレイでないと実現できないという問題がある。また、特許文献２では、発表者が常に発表内容を遮蔽しながら書き込みすると、基準フレームは古い画像のままであり、基準フレームの書き込み内容と現フレームの書き込み内容とに相違が生じてしまうという問題がある。

本発明は、上記の問題点に鑑みてなされたものであって、その目的は、表示板の表示エリアが遮蔽されている画像領域の表示内容を表示することが可能な画像処理装置等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示板の表示領域を含むように複数の地点のそれぞれから撮影された撮影画像を複数取得する取得部と、上記撮影画像の１つを判定画像とし、当該判定画像における上記表示領域の少なくとも一部が遮蔽されているか否かを判定する判定部と、上記判定部が遮蔽されていると判定した場合、上記判定画像と異なる上記撮影画像である選択画像を選択する選択部と、上記選択画像における、上記判定画像の上記遮蔽されている領域と対応する領域の少なくとも一部が遮蔽されていない場合、上記選択画像の上記表示領域を上記判定画像の上記表示領域に重畳させる重畳部とを備えている。

本発明の一態様によれば、遮蔽されている表示エリアの表示内容が表示されることが可能となる。

本発明の一実施形態に係る画像処理部（画像処理装置）を備えた画像処理システムの要部構成の一例を示すブロック図である。 本発明の一実施形態に係る画像処理部の概要を示す図である。 実施形態１の変形例を示す概要図である。 実施形態１に係る画像処理システムの処理の例を示すフローチャートである。 実施形態２に係る第１電子機器の処理の一例を示すフローチャートである。 複数の抽出画像を重ね合わせる処理を示す概要図である。 本発明の一実施形態に係る画像処理部を備えた画像処理システムの要部構成の一例を示すブロック図である。 実施形態３に係る画像処理システムの処理の例を示すフローチャートである。

（本発明の概要） 図２は、本発明の一実施形態に係る画像処理部（画像処理装置）の概要を示す図である。図２の（ａ）に示すように、発表者が表示板を用いて行っている講演を、複数の聴講者（Ａ及びＢ）が聴講している。複数の聴講者（Ａ及びＢ）は、本発明に係る画像処理部を備えている電子機器（例えば、ＨＭＤ（head mounted display））を装着した状態で、互いに異なる位置で、発表者による講演を聴講している。なお、発表者が用いる表示板は、例えば、ホワイトボードや黒板などの手書き可能な表示板であってもよいし、電子黒板、または電子的に手書き可能な電子黒板であってもよい。

聴講者Ａが装着しているＨＭＤにはカメラが備えられており、図２の（ａ）に示す撮影画像例３０１は、聴講者Ａが装着しているカメラにより撮影された撮影画像である。撮影画像例３０１は、表示板に表示されている表示内容が発表者により遮蔽された画像である。また、聴講者Ｂが装着しているＨＭＤにもカメラが備えられており、図２の（ａ）に示す撮影画像例３０２は、聴講者Ｂが装着しているカメラにより撮影された撮影画像である。撮影画像例３０２は、表示板に表示されている表示内容が発表者により遮蔽されていない画像である。なお、聴講者Ａが装着しているＨＭＤと、聴講者Ｂが装着しているＨＭＤとは、互いに通信可能であるか、またはサーバを介して通信可能である。

図２の（ａ）の撮影画像例３０１に示すように、聴講者Ａが装着しているＨＭＤにより撮影された撮影画像において、表示板に表示されている表示内容が発表者により遮蔽されている場合、聴講者ＡのＨＭＤに表示される画像には、図２の（ｃ）に示すように、発表者により表示板の表示内容が遮蔽されていない画像によって、画像処理が施される。

具体的には、聴講者Ａが装着しているＨＭＤにて、図２の（ａ）に示す撮影画像例３０１における表示板の表示エリア（表示領域）が特定される。また、聴講者Ｂが装着しているＨＭＤにて、図２の（ａ）に示す撮影画像例３０２における表示板の表示エリアが特定され、特定された表示エリア内の画像が抽出される。そして、聴講者Ｂが装着しているＨＭＤにより抽出された画像（以下、抽出画像）の外形が、聴講者Ａが装着しているＨＭＤにより特定された表示エリアの外形に一致するように、抽出画像の座標が変換される（図２の（ｂ））。次に、座標変換された抽出画像が、半透明化されて、聴講者Ａが装着しているＨＭＤにより撮影された撮影画像における表示板の表示エリアの画像上に重畳される（図２の（ｃ））。これにより、聴講者Ａは、発表者により遮蔽されている表示板の表示内容を見ることが可能となる。

〔実施形態１〕
図１は、本発明の一実施形態に係る画像処理部を備えた画像処理システム１００の要部構成の一例を示すブロック図である。図１に示すように、画像処理システム１００は、第１電子機器１０及び第２電子機器２０を備える。以下の説明では、第１電子機器１０が、第２電子機器２０と直接通信を行う例を説明するが、これに限定しない。例えば、第１電子機器１０は、複数の電子機器と通信可能であってもよいし、サーバなどの第３の電子機器を介して第２電子機器２０と通信してもよい。また、第１電子機器１０及び第２電子機器２０は、撮影機能及び撮影画像を表示する機能を備えている電子機器であり、例えば、ＨＭＤ、タブレット、持ち運び可能な携帯端末である。

（電子機器の要部構成） 第２電子機器２０は、撮影部２１、画像取得部２２、エリア特定部２３、画像抽出部２４、及び通信部２５を備える。撮影部２１は、静止画や動画を記録するカメラであり、表示板の表示エリア（表示領域）を含む撮影画像情報を画像取得部２２に通知する。画像取得部２２は、撮影部２１により通知された撮影画像情報を取得し、エリア特定部２３に通知する。エリア特定部２３は、画像取得部２２により通知された撮影画像情報において、発表内容を表示する表示板の表示エリアを特定する。なお、
撮影画像から表示板の表示エリアを特定する方法は、１つのカメラを利用したパターン認識や２つのカメラを利用した３次元物体認識技術等の周知の方法を用いればよい（以下の実施例も同様）。画像抽出部２４は、エリア特定部２３により特定された表示エリア内の画像を、画像取得部２２により取得された撮影画像から抽出し、抽出画像を生成する。通信部２５は、画像抽出部２４により生成された抽出画像を示す情報を第１電子機器１０に通知する。なお、第２電子機器２０は、第１電子機器１０が備える構成を有していてもよい（不図示）。

第１電子機器１０は、画像処理部１、撮影部１１、通信部１２、表示部１３及び記憶部１４を備える。撮影部１１は、静止画や動画を記録するカメラであり、表示板の表示エリア（表示領域）を含む撮影画像情報を画像処理部１に通知する。通信部１２は、第２電子機器２０などの外部の電子機器と通信を行う。表示部１３は、画像処理部１により通知される撮影画像（判定画像）を表示画面に表示する。

記憶部１４には、画像処理部１により取得された画像情報（撮影画像情報１４ａ及び抽出画像情報１４ｃ）、及び画像処理部１により生成された画像情報（エリア情報１４ｂ、変換画像情報１４ｄ、切取画像情報１４ｅ、及び重畳画像情報１４ｆ）が記憶される。撮影画像情報１４ａは、撮影部１１により撮影された撮影画像（判定画像）を示す情報である。エリア情報１４ｂは、撮影画像情報１４ａが示す画像において、画像処理部１により特定された表示エリアを示す情報である。抽出画像情報１４ｃは、通信部１２から通知された抽出画像を示す情報である。抽出画像情報１４ｃは、複数の撮影部（電子機器）により通知された画像情報を含み、当該画像情報は互いに異なる複数の地点で撮影された画像情報である。なお、同一の撮影部から時間差で抽出画像が通知された場合は、古い抽出画像情報に代えて新しい抽出画像情報が、抽出画像情報１４ｃとして記憶される。変換画像情報１４ｄは、画像処理部１により、抽出画像について表示板の表示エリア内の座標が変換された画像を示す情報である。切取画像情報１４ｅは、画像処理部１により表示エリアを遮蔽している画像領域が切り取られた抽出画像を示す情報である。重畳画像情報１４ｆは、表示画面に表示されている撮影画像（判定画像）における表示板の表示エリア（表示領域）に重畳させる画像を示す情報である。

（画像処理部１の要部構成） 画像処理部１は、画像取得部（取得部）２、エリア特定部３、遮蔽判定部（判定部）４、画像選択部（選択部）５、座標変換部（変換部）６、切取部７、及び重畳部８を備える。画像取得部２は、表示板の表示エリア（表示領域）を含むように複数の地点のそれぞれから撮影された撮影画像を複数取得する。例えば、画像取得部２は、撮影部１１により撮影された撮影画像（判定画像）を取得し、また、通信部１２から通知される抽出画像（撮影画像）を取得する。エリア特定部３は、画像取得部２により取得された撮影画像において、表示板の表示エリア（表示領域）を特定する。遮蔽判定部４は、画像取得部２が取得した撮影画像（撮影部１１により撮影された撮影画像、判定画像）について、エリア特定部３により特定された表示エリアの少なくとも一部が遮蔽されているか否かを判定する。

画像選択部５は、遮蔽判定部４が、撮影部１１により撮影された撮影画像（判定画像）について表示エリアの少なくとも一部が遮蔽されていると判定した場合、撮影部１１により撮影された撮影画像（判定画像）と異なる撮影画像である抽出画像を選択画像として選択する。選択画像は、撮影部１１により撮影された撮影画像に重畳するための画像である。選択方法の詳細については図４にて後述する。座標変換部６は、画像選択部５が選択した抽出画像について、表示板の表示エリア内の座標を変換する。具体的には、画像選択部５により選択された抽出画像の外形を、エリア特定部３により特定された表示エリアの外形に一致させるように、抽出画像における座標を変換（例えば、アフィン変換）する。

切取部７は、画像選択部５が選択した選択画像から、選択画像における表示エリアの少なくとも一部が遮蔽されている画像領域を切り取る。表示エリアが遮蔽されている画像領域を切り取る方法は、公知技術を用いる。例えば、人物検出により、発表者の輪郭を検出し、検出した輪郭内の画像を表示エリアが遮蔽されている画像領域として切り取る。また、例えば、表示エリア内の画像において、動いている画像領域を検出し、表示エリアが遮蔽されている画像領域として切り取る。

重畳部８は、座標変換部６が座標変換した表示エリア内の画像を、表示画面に表示されている撮影画像（判定画像）における表示エリアの画像に重畳させる。上層に重畳される画像は、上層に重畳される画像、及び下層に重畳される画像が視認可能な程度の半透明化（例えば、透過度５０％）としてもよい。

以下では、画像処理部１は第１電子機器１０に備えられるものとして説明するが、画像処理部１は、サーバに備えられてもよい。

（画像処理部１の動作例） 実施形態１における処理では、自装置（第１電子機器１０）にて撮影された撮影画像（表示画面に表示されている画像、判定画像）に、他装置（第２電子機器２０）にて撮影された撮影画像（抽出画像）１枚を、重畳して表示する処理である。図４は、実施形態１に係る画像処理システム１００の処理の一例を示すフローチャートである。まず、第２電子機器２０の処理について説明する。図４に示すように、画像取得部２２は、撮影部２１により撮影された撮影画像を取得する（Ｓ２１）。そして、エリア特定部２３は、Ｓ２１にて取得された撮影画像において、表示板の表示エリアを特定する（Ｓ２２）。次に、画像抽出部２４は、Ｓ２２にて特定された表示エリアの画像を、Ｓ２１にて取得された撮影画像から抽出し、抽出画像を生成する（Ｓ２３）。Ｓ２３の後、通信部２５は、Ｓ２３にて生成された抽出画像を示す情報を第１電子機器１０に送信する（Ｓ２４）。なお、Ｓ２１〜Ｓ２４の処理は、定期的に実行されてもよいし、第１電子機器１０からの通知に応じて実行されてもよい。

なお、以下の説明において、Ｓ２４にて送信される情報は、Ｓ２３にて生成された抽出画像情報とするが、これに限定しない。例えば、Ｓ２４にて送信される情報は、Ｓ２１にて取得された撮影画像情報であってもよい。Ｓ２４にて送信される情報が、Ｓ２１にて取得された撮影画像情報である場合、Ｓ２２及びＳ２３における処理は、第１電子機器１０にて行われてもよい。

次に、第１電子機器１０の処理について説明する。図４に示すように、通信部１２は、第２電子機器２０から通知された抽出画像を示す情報を受信し（Ｓ１、取得ステップ）、画像取得部２は、Ｓ１にて受信した情報を抽出画像情報１４ｃとして記憶部１４に記憶する。また、画像取得部２は、撮影部１１により撮影された撮影画像を取得し（Ｓ２、取得ステップ）、Ｓ２にて取得された撮影画像を撮影画像情報１４ａとして記憶部１４に記憶する。Ｓ２にて取得された撮影画像において、エリア特定部３は、表示板の表示エリアを特定する（Ｓ３）。Ｓ３にて特定された表示エリアは、エリア情報１４ｂとして記憶部１４に記憶されてもよい。

Ｓ２にて取得された撮影画像（判定画像）について、遮蔽判定部４は、Ｓ３にて特定された表示エリアの少なくとも一部が遮蔽されているか否かを判定する（Ｓ４、判定ステップ）。遮蔽判定部４により遮蔽されていると判定される場合（Ｓ４にてＹＥＳ）、画像選択部５は、記憶部１４に記憶されている抽出画像情報１４ｃから、１枚の抽出画像を選択画像として選択する（Ｓ５、選択ステップ）。Ｓ５の後、座標変換部６は、Ｓ５にて選択された抽出画像（選択画像）の外形を、Ｓ３にて特定された表示エリアの外形に一致するように、Ｓ５にて選択された抽出画像における座標を変換する（Ｓ６、変換ステップ）。Ｓ６にて座標変換される抽出画像は、変換画像情報１４ｄとして記憶部１４に記憶されてもよい。

次に、遮蔽判定部４は、Ｓ６にて座標変換された抽出画像について、表示板に表示されている表示内容（表示板の表示エリア）の少なくとも一部が遮蔽されているか否かを判定する（Ｓ７）。遮蔽判定部４により遮蔽されていると判定される場合（Ｓ７にてＹＥＳ）、切取部７は、Ｓ６にて座標変換された抽出画像（変換画像）から、Ｓ７にて遮蔽されていると判定された画像領域を切り取る（Ｓ８）。Ｓ８にて遮蔽されている画像領域が切り取られた変換画像は、切取画像情報１４ｅとして記憶部１４に記憶されてもよい。

そして、重畳部８は、Ｓ３にて特定した表示エリアの画像に、Ｓ８にて遮蔽されている画像領域が切り取られた変換画像（切取画像）を重畳する（Ｓ９、重畳ステップ）。一方、遮蔽判定部４により遮蔽されていないと判定される場合（Ｓ７にてＮＯ）、重畳部８は、Ｓ３にて特定した表示エリアの画像に、Ｓ６にて生成された変換画像を重畳する（Ｓ１０、重畳ステップ）。なお、Ｓ９にて重畳される切取画像、又はＳ１０にて重畳される変換画像の透過度は、適宜設定されてもよい（例えば５０％）。

そして、表示部１３は、Ｓ９にて重畳された切取画像、又はＳ１０にて重畳された変換画像を、表示画面に表示している撮影画像（判定画像）に重ね合わせて表示する（Ｓ１１）。一方、Ｓ４にてＮＯの場合、本処理は終了する（Ｓ２にて取得された撮影画像が表示画面に表示される）。

なお、Ｓ１の処理は、Ｓ２の処理前に行われることに限定しない。例えば、Ｓ４にてＹＥＳの場合に、第１電子機器１０は、第２電子機器２０に通知し、第２電子機器２０から抽出画像を受信してもよい。また、Ｓ６における処理（座標を変換する処理）は、Ｓ８の処理（切取処理）前に実行されることに限定しない。例えば、Ｓ６の処理は、Ｓ８とＳ９との処理の間に実行されてもよく、また、Ｓ７にてＮＯの場合にＳ１０の処理前に実行されてもよく、そして、Ｓ７及びＳ８にて処理される変換画像は、Ｓ５にて選択された抽出画像とする。

また例えば、第１電子機器１０がサーバを介して第２電子機器２０と通信する場合、Ｓ５及びＳ７〜Ｓ８の処理はサーバにて実行されてもよい。

（画像選択部による選択例） 図４のＳ５における処理（画像選択部５による抽出画像の選択処理）の詳細について説明する。画像選択部５は、例えば、表示板を撮影している方向が、表示画面に表示されている撮影画像と異なる抽出画像を選択する。撮影方向の判別は、表示エリアの外形により判断されてもよいし、座標変換の際に用いられたパラメータにより判断されてもよい。

表示エリアの外形により撮影方向が判別される場合、Ｓ２にて取得した撮影画像における表示エリアの外形との差分がより大きい抽出画像が選択されることが望ましい。また、座標変換の際に用いられたパラメータにより撮影方向が判別される場合、Ｓ２にて取得した撮影画像とのパラメータの差分がより大きい抽出画像が選択されることが望ましい。

また例えば、画像選択部５は、複数ある抽出画像のうち、表示エリアを遮蔽している画像領域がより少ない画像を選択してもよい。この他に、画像選択部５は、Ｓ１にて受信した抽出画像のうち、受信した時刻がより遅い抽出画像（最新の画像）を選択してもよい。

（効果） 上記の構成によれば、表示画面に表示されている撮影画像（判定画像）の表示エリア（表示領域）について遮蔽されている領域に、抽出画像（選択画像）の表示エリア（表示領域）について遮蔽されていない領域が重畳される。このため、表示画面に表示されている撮影画像において、遮蔽されている表示エリアの表示内容が表示されることが可能となる。また、抽出画像は撮影された画像であるため、表示板が、電子黒板ではなく原始的に手書き可能な表示板であったとしても、遮蔽されている表示エリアの表示内容が表示されることが可能となる。

また、聴講者が表示画面を見る方向とカメラの撮影方向が同一である機器（例えばＨＭＤ）が用いられる場合、聴講者は発表者を見ながら表示板に表示されている表示内容を視認することが可能となる（視線移動が不要となる）。

また、上記の構成によれば、選択部により選択される抽出画像（選択画像）は、表示画面に表示されている表示画像（判定画像）と、表示板を撮影している方向が異なる。このため、抽出画像（選択画像）について、表示板の表示エリアが遮蔽されていない可能性が高くなる。また、上記の構成によれば、表示画面に表示されている表示画像（判定画像）上に重畳される画像は、表示エリアの一部が遮蔽されている画像領域が切り取られた画像である。このため、表示エリアの一部が遮蔽されている画像を、表示画像上に重畳する画像として利用できる。

（変形例１） 図３の（ａ）は、実施形態１の変形例を示す概要図である。図３の（ａ）に示す設置カメラは、図１における第２電子機器２０に代えて用いられており、表示板の表示エリア内の表示内容を撮影する位置に、かつ、撮影した画像には、表示エリアの一部が遮蔽されない位置に、固定して設置されている。このため、図１の第２電子機器２０に備えられるエリア特定部２３及び画像抽出部２４の構成が不要となる。それゆえ、第２電子機器２０における処理（図４のＳ２２〜Ｓ２３）を軽減することが可能となる。

（変形例２） 図３の（ｂ）は、実施形態１の他の変形例を示す概要図である。図３の（ｂ）に示す専用カメラは、図１における第２電子機器２０に加えて聴講者により用いられるものであり、聴講者の記録用として画像を撮影するものである。専用カメラを聴講者の電子機器と通信可能にしておけば、専用カメラにて撮影された画像を電子機器にて用いることが可能となる。このため、表示板の表示エリアが遮蔽されていない可能性の高い複数枚の撮影画像を利用することが可能となる。

〔実施形態２〕
本発明の他の実施形態について、図５〜６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態において、上記実施形態１と異なるのは、自装置（第１電子機器１０）にて撮影された撮影画像（表示画面に表示されている画像、判定画像）に、他装置（第２電子機器２０）にて撮影された撮影画像（抽出画像）を複数枚重畳して表示する点である。

（重畳画像の生成） 図６は、複数の抽出画像を重ね合わせる処理を示す概要図である。例えば、図６の（ａ）〜（ｃ）において、表示板の表示エリアを含む画像が、複数の地点（３地点）で撮影され、次に、撮影画像における表示板の表示エリアから、遮蔽されている画像領域（発表者の領域）が切り取られ、そして、切り取られた表示エリアの画像について、遠近の歪みを補正するように座標が変換される。

図６の（ｄ）は、６の（ａ）〜（ｃ）に示した座標変換後の画像を重畳した図である。図６の（ｄ）に示すように、重畳された画像（以下、重畳画像）は、表示エリアの一部が欠けた画像であってもよいし、表示エリアの画像が完全に復元されてもよい（不図示）。

（第１電子機器１０の動作例） 図５は、実施形態２に係る第１電子機器１０の処理の一例を示すフローチャートである。図５に示すフローチャートは、図４に示したフローチャートにＳ１２〜Ｓ１４を追加したものである。図５に示すように、Ｓ１〜Ｓ９の処理は図４におけるＳ１〜Ｓ９の処理と同様である。

Ｓ９の後、遮蔽判定部４は、Ｓ９にて切取画像が重畳された撮影画像において、表示板の表示エリアが遮蔽されているか否かを判定する（Ｓ１２）。遮蔽判定部４により遮蔽されていると判定される場合（Ｓ１２にてＹＥＳ）、画像選択部５は、記憶部１４に記憶されている抽出画像情報１４ｃに、Ｓ５にて選択された抽出画像と異なる抽出画像を示す情報があるか否かを判定する（Ｓ１３）。抽出画像情報１４ｃに、Ｓ５にて選択された抽出画像と異なる抽出画像を示す情報がある場合（Ｓ１３にてＹＥＳ）、画像選択部５は、Ｓ５にて選択された抽出画像と異なる抽出画像を選択する（Ｓ１４）。一方、Ｓ１３にてＮＯの場合、Ｓ１１の処理が実行される。

そして、Ｓ１４にて選択された抽出画像について、Ｓ６〜Ｓ９の処理が実行される。Ｓ１４にて選択された抽出画像について実行されるＳ９の処理は、複数の切取画像を、Ｓ３にて特定した表示エリア内の画像上に重畳する処理とする。また、複数の切取画像を重畳した画像（図６の（ｄ）参照）は、重畳画像情報１４ｆとして記憶部１４に更新記録されてもよい。

Ｓ１２の処理は、Ｓ４にて判定された遮蔽されている画像領域が、Ｓ８にて生成される切取画像により補われるまで実行される構成としてもよいし、Ｓ８にて生成される切取画像の枚数が上限（例えば３枚）に達するまで実行される構成としてもよい。

一方、Ｓ１２にてＮＯの場合、表示部１３は、Ｓ９にて重畳された切取画像、又はＳ１０にて重畳された変換画像を、表示画面に表示している撮影画像（判定画像）に重ね合わせて表示する（Ｓ１１）。

（効果） 上記の構成によれば、複数の画像を用いて、切り取られた画像領域が互いに補い合われることにより、表示エリアの表示内容が表示されることが可能となる。また、互いに異なる方向から撮影された撮影画像が、複数枚重畳されため、表示エリアが遮蔽されている画像領域の内容が、より確実に表示されることが可能となる。

〔実施形態３〕
（画像処理システム２００の要部構成） 実施形態３は、複数の電子機器からの撮影画像を用いて、表示エリアの画像を復元するサーバの処理を想定している。図７は、本発明の一実施形態に係る画像処理部を備えた画像処理システム２００の要部構成の一例を示すブロック図である。図７に示すように、画像処理システム２００は、電子機器４０、及び電子機器４０と通信可能なサーバ３０を備える。なお、サーバ３０と通信可能な電子機器４０は、複数あってもよい（不図示）。

電子機器４０は、ユーザ側の電子機器であり、電子機器４０が備える撮影部４１、画像取得部４２、エリア特定部４３、画像抽出部４４、及び通信部４５は、実施形態１にて上述した第２電子機器２０（図１）の構成と同様である。また、電子機器４０が備える座標変換部４６及び表示部４７は、実施形態１にて上述した第１電子機器１０（図１）の構成と同様である。

サーバ３０は、画像処理部１ａ（画像処理装置）、通信部３１、及び記憶部３２を備える。通信部３１は、電子機器４０などの外部の電子機器と通信を行う。記憶部３２は、画像処理部１ａにより取得された画像情報（抽出画像情報３２ａ）、及び画像処理部１ａにより生成された画像情報（変換画像情報３２ｂ、切取画像情報３２ｃ、及び重畳画像情報３２ｄ）が記憶される。

画像処理部１ａは、画像取得部（取得部）２ａ、遮蔽判定部（判定部）３ａ、切取部４ａ、画像選択部（選択部）５ａ、座標変換部（変換部）６ａ、及び重畳部７ａを備える。画像取得部２ａは、複数の撮影部により撮影された、表示板の表示エリアを含む撮影画像を取得する。例えば、画像取得部２ａは、通信部３１から通知される複数の抽出画像を取得する。

遮蔽判定部３ａは、画像取得部２ａが取得した抽出画像の全てについて、表示板の表示エリア（表示領域）が遮蔽されているか否かを判定する。切取部４ａは、遮蔽判定部３ａにより遮蔽されていると判定された抽出画像について、表示エリアを遮蔽している画像領域を切り取る。

画像選択部５ａは、遮蔽判定部３ａにより判定された抽出画像から画像処理に適する抽出画像を選択する。例えば、画像選択部５ａは、画像処理に適する抽出画像として、切取部４ａにより切り取られた画像領域が一番少ない画像を順次選択する。また例えば、遮蔽判定部３ａにより遮蔽されていないと判定された抽出画像が複数あった場合、画像選択部５ａは、最初に遮蔽されていないと判定された抽出画像を選択してもよいし、最もサイズが大きいもの（解像度が高い）を選択してもよい。

座標変換部６ａは、画像選択部５ａが選択した抽出画像における表示エリア内の座標を、遠近の歪みを修正するように変換する。重畳部７ａは、座標変換部６ａが座標変換した表示エリア内の画像を、画像選択部５ａにより選択された順に、重畳する（図６の（ｄ）参照）。

（画像処理システム２００の動作例） 図８は、実施形態３に係る画像処理システム２００の処理の一例を示すフローチャートである。まず、電子機器４０の処理について説明する。図８に示すＳ４１〜Ｓ４３の処理は、実施形態１にて上述した図４のＳ２１〜Ｓ２３の処理と同様である。Ｓ４３の後、通信部４５は、Ｓ４３にて生成された抽出画像を示す情報をサーバ３０に送信する（Ｓ４４）。なお、以下の説明において、Ｓ４４にて送信される情報は、Ｓ４３にて生成された抽出画像情報とするが、これに限定しない。例えば、Ｓ４４にて送信される情報は、Ｓ４１にて取得された撮影画像情報であってもよい。Ｓ４４にて送信される情報が、Ｓ４１にて取得された撮影画像情報である場合、Ｓ４２及びＳ４３における処理は、サーバ３０にて行われてもよい。

次に、サーバ３０の処理について説明する。図８に示すように、通信部３１は、電子機器４０から通知された抽出画像を示す情報を受信し（Ｓ５１、取得ステップ）、画像取得部２ａは、Ｓ５１にて受信した情報を抽出画像情報３２ａとして記憶部３２に記憶する。遮蔽判定部３ａは、Ｓ５１にて取得された抽出画像（判定画像）について、表示板の表示エリア内が遮蔽されているか否かを判定する（Ｓ５２、判定ステップ）。

遮蔽判定部３ａにより遮蔽されていると判定される場合（Ｓ５２にてＹＥＳ）、切取部４ａは、Ｓ５２にて遮蔽されていると判定された抽出画像から、表示エリアが遮蔽されている画像領域を切り取る（Ｓ５３）。Ｓ５３にて画像領域が切り取られた抽出画像は、切取画像情報３２ｃとして記憶部３２に記憶されてもよい。そして、画像選択部５ａは、Ｓ５２にて判定された抽出画像から、任意の画像を選択画像として選択する（Ｓ５４、選択ステップ）。例えば、Ｓ５４にて選択される任意の画像は、Ｓ５３にて切り取られた画像領域が一番少ない画像から順次選択される画像である。また、例えば、Ｓ５４にて選択される画像は、撮影方向別に選択されてもよい（図６の（ａ）〜（ｃ）参照）。

次に、座標変換部６ａは、Ｓ５５にて選択された抽出画像における表示エリア内の座標を、遠近の歪みを修正するように変換する（Ｓ５５、変換ステップ）。Ｓ５５にて座標変換された抽出画像は、変換画像情報３２ｂとして記憶部３２に記憶されてもよい。そして、重畳部７ａは、Ｓ５５にて座標変換された表示エリア内の複数の画像を重ね合わせ（重畳し）、表示板の表示エリアが遮蔽されていない重畳画像を生成する（Ｓ５６、重畳ステップ）。Ｓ５６にて生成される重畳画像は、重畳画像情報３２ｄとして記憶部３２に記憶されてもよい。

そして、通信部３１は、表示エリアが遮蔽されていない画像（Ｓ５７にて生成された重畳画像、又はＳ５２にて遮蔽されていないと判定された抽出画像）を、電子機器４０に送信する（Ｓ５７）。なお、Ｓ５２にて遮蔽されていないと判定された抽出画像が複数ある場合、Ｓ５７にて送信される画像は、画像選択部５ａにより画像処理に適する抽出画像として選択された画像であってもよい（不図示）。例えば、画像選択部５ａは、画像処理に適する抽出画像として、Ｓ５２にて最初に遮蔽されていないと判定された画像を選択してもよいし、最もサイズが大きいもの（解像度が高い）を選択してもよい。

そして、電子機器４０は、表示板の表示エリアが遮蔽されていない画像を受信する（Ｓ４５）。座標変換部４６は、Ｓ４５にて受信した画像の外形を、表示画面に表示されている撮影画像における表示板の表示エリアの外形に一致するように、Ｓ４５にて受信した画像の座標を変換し、表示部４７は、座標変換された画像を、表示画面に表示されている撮影画像における表示板の表示エリアに重ね合わせて表示する（Ｓ４６）。

上記の構成によれば、最初に選択された撮影画像において遮蔽されている画像領域が、重畳される撮影画像にて補われる。このため、表示板の表示エリアの画像が、より確実に表示されることが可能となる。また、複数の撮影画像のうち、遮蔽されている画像が切り取られた領域が一番少ない画像から順次選択される。このため、より少ない枚数の撮影画像を用いて、表示板に表示されている表示内容を表示することが可能となる。

〔ソフトウェアによる実現例〕
第１電子機器１０、第２電子機器２０、サーバ３０、及び電子機器４０の制御ブロック（特に、画像処理部１、画像処理部１ａ、画像取得部２２、エリア特定部２３、画像抽出部２４、画像取得部４２、エリア特定部４３、画像抽出部４４、座標変換部４６、表示部４７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、第１電子機器１０及び第２電子機器２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像処理装置（画像処理部１、１ａ）は、表示板の表示領域を含むように複数の地点のそれぞれから撮影された撮影画像を複数取得する取得部（画像取得部２、２ａ）と、上記撮影画像の１つを判定画像とし、当該判定画像における上記表示領域の少なくとも一部が遮蔽されているか否かを判定する判定部（遮蔽判定部４、３ａ）と、上記判定部が遮蔽されていると判定した場合、上記判定画像と異なる上記撮影画像である選択画像を選択する選択部（画像選択部５、画像選択部５ａ）と、上記選択画像における、上記判定画像の上記遮蔽されている領域と対応する領域の少なくとも一部が遮蔽されていない場合、上記選択画像の上記表示領域を上記判定画像の上記表示領域に重畳させる重畳部（８、７ａ）とを備えている。

上記の構成によれば、判定画像の表示領域について遮蔽されていると判定された領域に、選択画像の表示領域について遮蔽されていない領域が重畳される。このため、判定画像において遮蔽されている表示領域の内容が表示されることが可能となる。また、選択画像は撮影された画像であるため、表示板が、電子黒板ではなく原始的に手書き可能な表示板であったとしても、遮蔽されている表示領域の内容が表示されることが可能となる。

本発明の態様２に係る画像処理装置は、上記態様１において、上記選択画像から、上記選択画像における上記表示領域の遮蔽されている領域を切り取る切取部（７、４ａ）を、更に備え、記重畳部は、上記切取部により切り取られた上記選択画像の上記表示領域を、上記判定画像の上記表示領域に重畳させてもよい。

上記の構成によれば、選択画像の表示領域は、表示領域の少なくとも一部が遮蔽されている画像領域が切り取られる。このため、表示領域の一部が遮蔽されている選択画像を、判定画像に重畳する画像として利用できる。

本発明の態様３に係る画像処理装置は、上記態様１または２において、上記選択画像は、上記判定画像と、上記表示板を撮影している方向が異なっていてもよい。上記の構成によれば、選択画像について、表示板の表示領域が遮蔽されていない可能性が高くなる。それゆえ、判定画像において遮蔽されている表示領域の内容をより確実に表示することが可能となる。

本発明の態様４に係る画像処理装置は、上記態様２において、上記選択画像は、複数枚であってもよい。上記の構成によれば、選択された複数の画像は、表示領域を遮蔽する画像領域が切り取られる。このため、切り取られた画像領域が互いに補われることにより、判定画像において遮蔽されている表示領域の内容が表示されることが可能となる。

本発明の態様５に係る画像処理装置は、上記態様４において、複数枚の上記選択画像のそれぞれは、互いに異なる方向から上記表示板が撮影された撮影画像であってもよい。上記の構成によれば、表示板の表示領域が遮蔽されていない可能性が高い、複数枚の撮影画像を利用することが可能となる。このため、判定画像において遮蔽されている表示領域の内容が、より確実に表示されることが可能となる。

本発明の態様６に係る画像処理方法は、表示板の表示領域を含むように複数の地点のそれぞれから撮影された撮影画像を複数取得する取得ステップと、上記撮影画像の１つを判定画像とし、当該判定画像における上記表示領域の少なくとも一部が遮蔽されているか否かを判定する判定ステップと、上記判定ステップにて遮蔽されていると判定された場合、上記判定画像と異なる上記撮影画像である選択画像を選択する選択ステップと、上記選択画像における、上記判定画像の上記遮蔽されている領域と対応する領域の少なくとも一部が遮蔽されていない場合、上記選択画像の上記表示領域を上記判定画像の上記表示領域に重畳させる重畳ステップ、を含んでいてもよい。上記構成によれば、上記態様１と同様の効果を奏する。

本発明の態様７に係る電子機器は、上記態様１から５のいずれか１態様に記載の画像処理装置と、上記画像処理装置により重畳された画像を表示する表示画面を備えていてもよい。上記の構成によれば、上記態様１から５のいずれか１態様と同様の効果を奏する。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素に限る）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、撮影機能及び撮影画像を表示する機能を備えている電子機器（例えば、ＨＭＤ（head mounted display）、タブレット、持ち運び可能な携帯端末）に利用することができる。

１、１ａ 画像処理部（画像処理装置）
１０ 第１電子機器 ２０ 第２電子機器
１１、２１、４１ 撮影部
２、２ａ、 画像取得部（取得部）
３、２３、４３ エリア特定部
４、３ａ 遮蔽判定部（判定部）
５、５ａ 画像選択部（選択部）
６、６ａ、４６ 座標変換部（変換部）
７、４ａ 切取部
８、７ａ 重畳部
２４、４４ 画像抽出部
１３、４７ 表示部
１００、２００ 画像処理システム

Claims (6)

1. 表示板の表示領域を含むように複数の地点のそれぞれから撮影された撮影画像を複数取得する取得部と、
   上記撮影画像の１つを判定画像とし、当該判定画像における上記表示領域の少なくとも一部が遮蔽されているか否かを判定する判定部と、
   上記判定部が遮蔽されていると判定した場合、上記判定画像と異なる上記撮影画像である選択画像を選択する選択部と、
   上記選択画像における、上記判定画像の上記遮蔽されている領域と対応する領域の少なくとも一部が遮蔽されていない場合、上記選択画像の上記表示領域を上記判定画像の上記表示領域に重畳させる重畳部と、を備えることを特徴とする画像処理装置。
2. 上記選択画像から、上記選択画像における上記表示領域の遮蔽されている領域を切り取る切取部を、更に備え、
   上記重畳部は、上記切取部により切り取られた上記選択画像の上記表示領域を、上記判定画像の上記表示領域に重畳させることを特徴とする請求項１に記載の画像処理装置。
3. 上記選択画像は、上記判定画像と、上記表示板を撮影している方向が異なることを特徴とする請求項１または２に記載の画像処理装置。
4. 表示板の表示領域を含むように複数の地点のそれぞれから撮影された撮影画像を複数取得する取得ステップと、
   上記撮影画像の１つを判定画像とし、当該判定画像における上記表示領域の少なくとも一部が遮蔽されているか否かを判定する判定ステップと、
   上記判定ステップにて遮蔽されていると判定された場合、上記判定画像と異なる上記撮影画像である選択画像を選択する選択ステップと、
   上記選択画像における、上記判定画像の上記遮蔽されている領域と対応する領域の少なくとも一部が遮蔽されていない場合、上記選択画像の上記表示領域を上記判定画像の上記表示領域に重畳させる重畳ステップと、を含むことを特徴とする画像処理方法。
5. 請求項１から３のいずれか１項に記載の画像処理装置と、
   上記画像処理装置により重畳された画像を表示する表示画面と、を備えた電子機器。
6. 請求項１から３のいずれか１項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記各部としてコンピュータを機能させるための画像処理プログラム。

Images