JP2015072627A - 画像処理装置及び画像合成方法 - Google Patents

Abstract

【課題】説明者の負担を低減しつつ、聴衆に対する説明の訴求力や理解力を高めることができる画像処理装置及び画像合成方法を提供する。
【解決手段】説明を行う説明者を撮像する撮像部１１と、説明者を撮像した撮像画像から説明者の画像である説明者画像を抽出する抽出部１３と、説明資料の画像である説明資料画像を受け付ける受付部１５と、説明資料画像上に説明者画像を合成した合成画像を生成する合成部１９と、合成画像を出力装置に出力する出力部２１と、を備える。
【選択図】図２

Description

本発明は、画像処理装置及び画像合成方法に関する。

近年、プレゼンテーションの手法として、発表者又は補助者がリモコン操作によりプレゼンテーションソフトを操作し、発表者がプレゼンテーション資料の映し出される画面の手前に立って発表をするというスタイルが注目を集めている。

この手法では、聴衆は、発表者越しにプレゼンテーション資料の映し出される画面を見ながらプレゼンテーションを受けることになるため、聴衆に対するプレゼンテーションの訴求力や理解力が高まると考えられる。

但し、この手法では、発表者は、プレゼンテーション資料の映し出される画面と聴衆との間に立つ必要がある。このため、プレゼンテーション資料の映し出される画面をプロジェクタにより投影する場合には、発表者は非常に眩しかったり、発表者の影が画面に映し出されてしまったりするという問題が生じる可能性がある。

ところで、例えば特許文献１には、講義資料の画像上に、講師を撮像した撮像画像を合成して画面表示を行う技術が開示されている。この技術を用いれば、上記問題を生じさせずに、プレゼンテーションを行うことができる。

しかしながら、上述した従来技術のように、説明資料の画像上に説明者を撮像した撮像画像そのものを合成して画面表示を行うだけでは、聴衆に、説明者越しに説明資料の映し出される画面を見ながら説明を受けていると感じさせることができず、聴衆に対する説明の訴求力や理解力を高めることができない。

本発明は、上記事情に鑑みてなされたものであり、説明者の負担を低減しつつ、聴衆に対する説明の訴求力や理解力を高めることができる画像処理装置及び画像合成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる画像処理装置は、説明を行う説明者を撮像する撮像部と、前記説明者を撮像した撮像画像から前記説明者の画像である説明者画像を抽出する抽出部と、説明資料の画像である説明資料画像を受け付ける受付部と、前記説明資料画像上に前記説明者画像を合成した合成画像を生成する合成部と、前記合成画像を出力装置に出力する出力部と、を備える。

本発明によれば、説明者の負担を低減しつつ、聴衆に対する説明の訴求力や理解力を高めることができるという効果を奏する。

図１は、本実施形態の画像出力システムの概略構成の一例を示すブロック図である。 図２は、本実施形態の画像処理装置の構成の一例を示すブロック図である。 図３は、本実施形態の撮像画像の一例を示す図である。 図４は、本実施形態の説明者画像の一例を示す図である。 図５は、本実施形態のプレゼンテーション資料画像の一例を示す図である。 図６は、本実施形態の合成画像の一例を示す図である。 図７は、本実施形態の合成画像の他の例を示す図である。 図８は、本実施形態の合成画像の他の例を示す図である。 図９は、本実施形態の合成画像の他の例を示す図である。 図１０は、本実施形態の説明者の向きの一例の説明図である。 図１１は、本実施形態の手法を採用しない場合の説明者の向きの一例の説明図である。 図１２は、本実施形態の画像処理装置で実行される処理の一例を示すフローチャートである。

以下、添付図面を参照しながら、本発明にかかる画像処理装置及び画像合成方法の実施形態を詳細に説明する。

図１は、本実施形態の画像出力システム１の概略構成の一例を示すブロック図である。図１に示すように、画像出力システム１は、ＰＣ（Personal Computer）２と、画像処理装置３と、出力装置４とを、備える。本実施形態では、ＰＣ２と画像処理装置３、及び画像処理装置３と出力装置４は、無線接続されているが、これに限定されず、映像ケーブルなどで有線接続してもよいし、いずれか一方を無線接続し、他方を有線接続してもよい。

ＰＣ２は、プレゼンテーション用のアプリケーションがインストールされたＰＣであり、プレゼンテーション資料（説明資料の一例）の再生を行い、プレゼンテーション資料の画像であるプレゼンテーション資料画像（説明資料画像の一例）を表示するとともに、画像処理装置３へ出力する。なお、プレゼンテーション資料の再生操作は、プレゼンテーション（説明の一例）を行う説明者が行ってもよいし、説明者の補助者が行ってもよい。

ＰＣ２は、プレゼンテーション用のアプリケーションがインストールされていればよく、後述の画像処理装置３で行われる画像合成などの機能を実現するためのアプリケーションなどがインストールされている必要はない。

本実施形態では、ＰＣ２は、持ち運び可能なノート型のＰＣを想定しているが、これに限定されるものではなく、デスクトップ型のＰＣなどであってもよい。また、ＰＣ２として、ＰＣではなく、スマートフォンやタブレット端末などを用いてもよい。

画像処理装置３は、説明者を撮像し、説明者を撮像した撮像画像から説明者の画像である説明者画像を抽出し、ＰＣ２から受け付けたプレゼンテーション資料画像上に合成した合成画像を生成し、出力装置４に出力する。

画像処理装置３は、撮像機能、画像抽出機能、及び画像合成機能を有していれば、どのような装置であってもよく、例えば、スマートフォン、タブレット端末、ゲーム機、及びＰＣなどが挙げられる。

なお画像処理装置３は、プレゼンテーション会場での配置の自由度を向上させる観点から、バッテリー駆動可能であることが望ましい。

出力装置４は、画像処理装置３から受け付けた合成画像を出力するものである。本実施形態では、出力装置４としてプロジェクタを想定して説明するが、これに限定されず、例えば、ディスプレイなどであってもよい。

図２は、本実施形態の画像処理装置３の構成の一例を示すブロック図である。図２に示すように、画像処理装置３は、撮像部１１と、抽出部１３と、受付部１５と、認識部１７と、合成部１９と、出力部２１と、表示部２３と、通信部２５と、制御部２７とを、備える。

撮像部１１は、ステレオカメラなどの撮像装置により実現できる。なお撮像部１１は、距離センサを有していてもよい。抽出部１３、認識部１７、合成部１９、及び制御部２７は、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。受付部１５及び出力部２１は、画像のビデオ信号の入出力が可能な無線通信装置や入出力インタフェースなどにより実現できる。表示部２３は、例えば、液晶ディスプレイやタッチパネルなどにより実現できる。通信部２５は、ブルートゥース（登録商標）などの近距離無線通信が可能な無線通信装置やＵＳＢ（Universal Serial Bus）などの入出力インタフェースなどにより実現できる。

撮像部１１は、説明を行う説明者を撮像する。

抽出部１３は、撮像部１１により説明者を撮像した撮像画像から説明者の画像である説明者画像を抽出する。本実施形態では、撮像画像はカラー画像であり、説明者画像は、カラー画像（撮像画像）及び撮像画像上における説明者の有無を示す透明度データであるものとするが、これに限定されるものではない。

例えば、抽出部１３は、図３に示すような撮像画像から説明者を認識することで、図４に示すような説明者画像を抽出する。抽出部１３は、撮像画像から説明者を認識するため、撮像部１１が有する距離センサがセンシングした距離情報を用いてもよい。

受付部１５は、説明資料の画像である説明資料画像（以下では、「プレゼンテーション資料画像」と称する）を受け付ける。例えば、受付部１５は、ＰＣ２から図５に示すようなプレゼンテーション資料画像の入力を受け付ける。

認識部１７は、受付部１５により受け付けられたプレゼンテーション資料画像上のオブジェクトを認識し、プレゼンテーション資料画像上でオブジェクトが存在する位置を示す位置情報を生成してもよい。

例えば、認識部１７は、プレゼンテーション資料画像を、背景画像に代表される余白とテキストや画像などのオブジェクトに代表される有意な情報とに分離し、位置情報として、プレゼンテーション資料画像上でのオブジェクトの有無を示す分離データを生成する。そして認識部１７は、プレゼンテーション資料画像と分離データとを合成部１９に出力してもよい。

合成部１９は、受付部１５により受け付けられたプレゼンテーション資料画像上に、抽出部１３により抽出された説明者画像を合成した合成画像を生成する。例えば、合成部１９は、図５に示すようなプレゼンテーション資料画像上に、図４に示すような説明者画像を合成することで、図６に示すような合成画像を生成する。また例えば、合成部１９は、図５に示すようなプレゼンテーション資料画像をウインドウとし、図４に示すような説明者画像の肩口等に合成することで、合成画像を生成してもよい。

このような合成画像を出力することにより、プレゼンテーションの聴衆に、説明者越しにプレゼンテーション資料の映し出される画面を見ながらプレゼンテーションを受けていると感じさせることができ、聴衆に対するプレゼンテーションの訴求力や理解力を高めることができる。

なお合成部１９は、認識部１７により生成された位置情報に基づいて、プレゼンテーション資料画像上に説明者画像を合成してもよい。例えば、合成部１９は、位置情報である分離データに基づいて、説明者画像を合成するプレゼンテーション資料画像上の位置にオブジェクトが存在すると判定した場合、説明者画像及びオブジェクトの少なくともいずれかに、移動処理、レイヤー変更処理、及び加工処理の少なくともいずれかを施して、プレゼンテーション資料画像上に説明者画像を合成してもよい。

例えば、合成部１９は、図７に示すように、説明者画像の領域のうち少なくともオブジェクトと重畳する領域に半透明化処理を施して、プレゼンテーション資料画像上に説明者画像を合成してもよい。なお図７に示す例では、合成部１９は、説明者画像の領域のうち、オブジェクトであるＵＲＬ（Uniform Resource Locator）のテキストと重畳する領域に半透明化処理を施している。

これにより、ＵＲＬのテキスト情報が説明者画像の下に隠れずに、プレゼンテーション資料の情報をプレゼンテーションの聴衆に正しく伝えることができる。

また例えば、合成部１９は、オブジェクトのレイヤーを説明者画像のレイヤーよりも上にするレイヤー変更処理を施して、プレゼンテーション資料画像上に説明者画像を合成してもよい。このようにしても、オブジェクトの情報が説明者画像の下に隠れずに、プレゼンテーション資料の情報をプレゼンテーションの聴衆に正しく伝えることができる。

この際、合成部１９は、説明者画像の領域のうち少なくともオブジェクトと重畳する領域に色変更処理を施すようにしてもよい。例えば、当該領域の色をオブジェクトが目立つような色に変更すれば、説明者画像とオブジェクトとの色が同色系であったとしても、オブジェクトの情報をプレゼンテーションの聴衆に伝えやすくすることができる。

また例えば、合成部１９は、プレゼンテーション資料画像上のオブジェクトが存在しない位置に説明者画像を合成するようにしてもよい。また例えば、合成部１９は、説明者画像に縮小処理を施して、プレゼンテーション資料画像上に合成するようにしてもよい。また例えば、合成部１９は、図８に示すように、説明者画像に縮小処理を施して、プレゼンテーション資料画像上のオブジェクトが存在しない位置に合成するようにしてもよい。

これにより、オブジェクトと説明者画像とを重複させずに合成でき、プレゼンテーション資料の情報をプレゼンテーションの聴衆に正しく伝えることができる。

また例えば、合成部１９は、図９に示すように、オブジェクトに縮小処理及びレイアウト変更処理の少なくともいずれかを施して、プレゼンテーション資料画像上に説明者画像を合成するようにしてもよい。なお図９に示す例では、オブジェクトであるＵＲＬ（Uniform Resource Locator）のテキストが、縮小されるとともに１段配置から２段配置にレイアウトが変更されている。

これにより、オブジェクトと説明者画像とを重複させずに合成でき、プレゼンテーション資料の情報をプレゼンテーションの聴衆に正しく伝えることができる。

出力部２１は、合成部１９により生成された合成画像を出力装置４に出力する。

表示部２３は、合成部１９により生成された合成画像を表示してもよい。また表示部２３は、撮像画像、説明者画像、プレゼンテーション資料画像、及び合成画像を選択して表示してもよい。表示部２３は、画像処理装置３に内蔵されていても、外部接続されていてもよい。但し、表示部２３は、説明者に対する撮像部１１の向きと同様の向きとなる位置に設けられていることが好ましい。

このようにすれば、説明者は、ＰＣ２や出力装置４が出力した合成画像に基づく画面を確認しなくても、表示部２３に表示された合成画像に基づく画面を見ることで、プレゼンテーション資料や自身の映り具合を確認できる。

特に本実施形態では、図１０に示すように、表示部２３は、説明者に対する撮像部１１の向きと同様の向きとなる位置に設けられているため、プレゼンテーション資料や自身の映り具合を表示部２３に表示された画面で確認しても、撮像部１１により正面を向いた説明者が撮像されるため、合成画像においても正面を向いた説明者を合成することができる。

この結果、説明者がプレゼンテーション資料や自身の映り具合を確認する場合であっても、この合成画像を出力することにより、プレゼンテーションの聴衆に、説明者越しにプレゼンテーション資料の映し出される画面を見ながらプレゼンテーションを受けていると感じさせることができ、聴衆に対するプレゼンテーションの訴求力や理解力を高めることができる。

これに対し、図１１に示すように、画像処理装置３に表示部２３が設けられておらず、説明者がＰＣ２の画面でプレゼンテーション資料や自身の映り具合を確認する場合、説明者は横を向かなければならず、撮像部１１により横を向いた説明者が撮像されるため、合成画像においても横を向いた説明者が合成されることになる。この結果、この合成画像を出力しても、プレゼンテーションの聴衆に、説明者が聴衆にそっぽを向いてプレゼンテーションを行っているように感じさせてしまい、聴衆に対するプレゼンテーションの訴求力や理解力を高めることができない。

なお、この場合でも、ＰＣ２を説明者の正面に配置すれば、上記のような事態は回避できるが、ＰＣ２を写さずに説明者を撮像するなど画像出力システム１の種々の制約を考えると、このような配置とすることは難しい。

また抽出部１３は、撮像画像から説明者を認識するだけでなく、説明者の特定の動作を認識し、通信部２５が、抽出部１３により認識された特定の動作をＰＣ２に通知してもよい。ＰＣ２側でこの特定の動作を操作情報として扱えば、説明者が特定の動作を行うことで、プレゼンテーション資料の再生操作を行うことができる。例えば、右腕を上げて右から左に振る動作をするなど任意の動作をページ送りの合図とすればよい。

制御部２７は、画像処理装置３の各部を制御するものであり、例えば、ＣＰＵなどにより実現できる。制御部２７は、例えば、受付部１５及び出力部２１の入出力設定や画像合成の設定（位置、大きさ、及び背景など）を行う。制御部２７は、例えば、内蔵型の入力装置や外部接続型の入力装置からのユーザ入力に基づいて、画像処理装置３の各部を制御する。

なお、画像処理装置３は、上述した各部の全てを必須の構成とする必要はなく、その一部を省略した構成としてもよい。例えば、認識部１７、表示部２３、及び通信部２５などを省略した構成としてもよい。

図１２は、本実施形態の画像処理装置３で実行される処理の一例を示すフローチャートである。

まず、撮像部１１は、説明者を撮像する（ステップＳ１０１）。

続いて、抽出部１３は、撮像部１１により説明者を撮像した撮像画像から説明者画像を抽出する（ステップＳ１０３）。

続いて、受付部１５は、ＰＣ２からプレゼンテーション資料画像の入力を受け付ける（ステップＳ１０５）。

続いて、認識部１７は、受付部１５により受け付けられたプレゼンテーション資料画像上のオブジェクトを認識し、プレゼンテーション資料画像上でオブジェクトが存在する位置を示す位置情報を生成する（ステップＳ１０７）。

続いて、合成部１９は、認識部１７により生成された位置情報に基づいて、説明者画像を合成するプレゼンテーション資料画像上の位置にオブジェクトが存在するか否かを判定する（ステップＳ１０９）。

オブジェクトが存在する場合（ステップＳ１０９でＹｅｓ）、合成部１９は、説明者画像及びオブジェクトの少なくともいずれかに、移動処理、レイヤー変更処理、及び加工処理の少なくともいずれかを施す（ステップＳ１１１）。

一方、オブジェクトが存在しない場合（ステップＳ１０９でＮｏ）、ステップＳ１１１の処理は実行されない。

続いて、合成部１９は、プレゼンテーション資料画像上に、説明者画像を合成した合成画像を生成する（ステップＳ１１３）。

続いて、出力部２１は、合成部１９により生成された合成画像を出力装置４に出力する（ステップＳ１１５）。

以上のように本実施形態では、説明者を撮像し、説明者を撮像した撮像画像から説明者の画像である説明者画像を抽出し、ＰＣ２から受け付けたプレゼンテーション資料画像上に合成した合成画像を生成し、出力装置４に出力する。従って本実施形態によれば、このような合成画像を出力することにより、プレゼンテーションの聴衆に、説明者越しにプレゼンテーション資料の映し出される画面を見ながらプレゼンテーションを受けていると感じさせることができ、説明者の負担を低減しつつ、聴衆に対するプレゼンテーションの訴求力や理解力を高めることができる。

特に本実施形態によれば、説明者を撮像した撮像画像をそのままプレゼンテーション資料画像上に合成するのではなく、撮像画像から抽出した説明者画像をプレゼンテーション資料画像上に合成するため、プレゼンテーションの聴衆に、説明者越しにプレゼンテーション資料の映し出される画面を見ながらプレゼンテーションを受けていると感じさせることができ、聴衆に対するプレゼンテーションの訴求力や理解力を高めることができる。

また本実施形態では、画像処理装置３は、バッテリー駆動可能であり、ＰＣ２や出力装置４と無線接続されるため、配置の制約が少なく、プレゼンテーション会場での配置の自由度を向上させることができる。

（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば上記実施形態において、撮像部１１のレンズを超広角レンズとしたり、撮像部１１に天球カメラを採用したりしてもよい。このようにすれば、説明者の撮像に際して、説明者と画像処理装置３との距離や方向の制約をとりはらうことができる。この場合、撮像部１１又は抽出部１３がトリミング機能を有することが好ましい。広角画像では発表者が遠く映るためである。

（ハードウェア構成）
本実施形態の画像処理装置３のハードウェア構成の一例について説明する。本実施形態の画像処理装置３は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤなどの外部記憶装置と、ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置と、通信インタフェースなどの通信装置と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の画像処理装置３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、本実施形態の画像処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、本実施形態の画像処理装置３で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、本実施形態の画像処理装置３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

本実施形態の画像処理装置３で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

１ 画像出力システム
２ ＰＣ
３ 画像処理装置
４ 出力装置
１１ 撮像部
１３ 抽出部
１５ 受付部
１７ 認識部
１９ 合成部
２１ 出力部
２３ 表示部
２５ 通信部
２７ 制御部

特開２００７−６００３２号公報

Claims (10)

1. 説明を行う説明者を撮像する撮像部と、
   前記説明者を撮像した撮像画像から前記説明者の画像である説明者画像を抽出する抽出部と、
   説明資料の画像である説明資料画像を受け付ける受付部と、
   前記説明資料画像上に前記説明者画像を合成した合成画像を生成する合成部と、
   前記合成画像を出力装置に出力する出力部と、
   を備える画像処理装置。
2. 前記説明資料画像上のテキスト及び画像の少なくともいずれかであるオブジェクトを認識し、前記説明資料画像上で前記オブジェクトが存在する位置を示す位置情報を生成する認識部を更に備え、
   前記合成部は、前記位置情報に基づいて、前記説明資料画像上に前記説明者画像を合成する請求項１に記載の画像処理装置。
3. 前記合成部は、前記位置情報に基づいて、前記説明者画像を合成する前記説明資料画像上の位置に前記オブジェクトが存在すると判定した場合、前記説明者画像及び前記オブジェクトの少なくともいずれかに、移動処理、レイヤー変更処理、及び加工処理の少なくともいずれかを施して、前記説明資料画像上に前記説明者画像を合成する請求項２に記載の画像処理装置。
4. 前記合成部は、前記説明者画像の領域のうち少なくとも前記オブジェクトと重畳する領域に半透明化処理を施して、前記説明資料画像上に前記説明者画像を合成する請求項３に記載の画像処理装置。
5. 前記合成部は、前記オブジェクトのレイヤーを前記説明者画像のレイヤーよりも上にするレイヤー変更処理を施して、前記説明資料画像上に前記説明者画像を合成する請求項３に記載の画像処理装置。
6. 前記合成部は、前記説明資料画像上の前記オブジェクトが存在しない位置に前記説明者画像を合成する請求項３に記載の画像処理装置。
7. 前記合成部は、前記説明者画像に縮小処理を施して、前記説明者画像上の前記オブジェクトが存在しない位置に合成する請求項６に記載の画像処理装置。
8. 前記合成部は、前記オブジェクトに縮小処理及びレイアウト変更処理の少なくともいずれかを施して、前記説明資料画像上に前記説明者画像を合成する請求項３に記載の画像処理装置。
9. 前記合成画像を表示する表示部を更に備える請求項１〜８のいずれか１つに記載の画像処理装置。
10. 説明を行う説明者を撮像する撮像ステップと、
    前記説明者を撮像した撮像画像から前記説明者の画像である説明者画像を抽出する抽出ステップと、
    説明資料の画像である説明資料画像を受け付ける受付ステップと、
    前記説明資料画像上に前記説明者画像を合成した合成画像を生成する合成ステップと、
    前記合成画像を出力装置に出力する出力ステップと、
    を含む画像合成方法。

Images