JP2014089261A - 画像処理装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
JP2014089261A
JP2014089261A JP2012238048A JP2012238048A JP2014089261A JP 2014089261 A JP2014089261 A JP 2014089261A JP 2012238048 A JP2012238048 A JP 2012238048A JP 2012238048 A JP2012238048 A JP 2012238048A JP 2014089261 A JP2014089261 A JP 2014089261A
Authority
JP
Japan
Prior art keywords
screen
image
outline
projection
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012238048A
Other languages
English (en)
Other versions
JP6102181B2 (ja
Inventor
Kazunori Kita
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012238048A priority Critical patent/JP6102181B2/ja
Publication of JP2014089261A publication Critical patent/JP2014089261A/ja
Application granted granted Critical
Publication of JP6102181B2 publication Critical patent/JP6102181B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Digital Computer Display Output (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】スクリーンと投影対象物の像との間の余白領域を利用して、演出効果を向上させる。
【解決手段】画像処理装置1の制御部10は、映像コンテンツの映像データから投影対象物である人物領域を抽出し、当該抽出した人物領域の輪郭と、撮影画像から抽出されたスクリーン5の外形に基づいて、映像データにおける、当該映像データをスクリーン5に投影したときに人物領域の輪郭とスクリーン5の外形の間に相当する余白領域に画像を合成する。そして、合成された映像データに基づいて、人物像の輪郭とスクリーン5の外形の間に画像が合成された映像コンテンツをプロジェクタ2によりスクリーン5上に投影させる。
【選択図】図11

Description

本発明は、画像処理装置、プログラム及び画像処理方法に関する。
お客や鑑賞者に対して広告内容等のコンテンツを提示する際の印象を高めるために、人型に成形された投影スクリーンに、そのスクリーンの外形に合わせた形状のコンテンツ映像などを投影する技術が提案されている(例えば、特許文献1参照)。この技術は、展示会等における斬新で効果的な展示の演出や、あるいは、「バーチャルマネキン」等、人間代わりの商品説明等に利用されている。
上記の人型スクリーンとしては、背面投影用のフィルム、例えば、透明塩化ビニルフィルムの投影する背面側にマイクロビーズレンズを配列した層と球状ビーズの隙間に黒い光吸収層を設けた特殊フィルムなどを、人型に成形された透明なアクリル板等の基材に貼り付けて用いることが多く、広い角度から、比較的明るく高輝度で、あたかもそこに人間が立っているかのような存在感のある投影像が得られる。
上記の技術においては、人物像(人物の投影像)の方が人型スクリーン外形よりも外側にはみ出ると、その部分の人物像の顔や肩などが欠けたり、細くなったり、不自然な形状になる。また、人物の映像を撮影して使用する場合には人物像の輪郭が動いたり変化したりする。そのため、人型スクリーンと人物像との間に余白領域ができるように投影することが行われている。
特開2011−150221号公報
しかしながら、従来、その余白領域は使用されていなかったため、最大限の演出効果が得られていなかった。
本発明は、上記のような問題を鑑みてなされたもので、その目的とするところは、スクリーンと投影対象物の像との間の余白領域を利用して、演出効果を向上させることである。
上記課題を解決するため、請求項1に記載の発明は、
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する合成手段と、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段と、
を備える。
本発明によれば、スクリーンと投影対象物の像との間の余白領域を利用して、演出効果を向上させることが可能となる。
本実施形態におけるコンテンツ再生システムの全体構成例を示す図である。 (a)は、映像の投影前のコンテンツ再生システムの正面図、(b)は映像の投影時のコンテンツ再生システムの正面図である。 図1の画像処理装置の機能的構成を示すブロック図である。 図3の制御部において実行される再生制御処理を示すフローチャートである。 図4のステップS1において実行される位置合わせ処理を示すフローチャートである。 図4のステップS2において実行されるスクリーン外形抽出処理を示すフローチャートである。 (a)は、図6のステップS202で取得される撮影画像を模式的に示す図、(b)は、分割線が付加されたフレーム画像を模式的に示す図、(c)は、(a)、(b)に基づいて抽出された余白領域を模式的に示す図である。 第1の実施形態において図4のステップS3において実行される合成用画像生成処理(合成用画像生成処理A)を示すフローチャートである。 図8のステップS302において実行される余白領域抽出処理を示すフローチャートである。 図4のステップS4において実行される投影制御処理を示すフローチャートである。 フレーム画像のスクリーンの外形と人物領域の輪郭との間に相当する余白領域に画像が合成された例を示す図である。 第2の実施形態におけるコンテンツ再生システムの全体構成例を示す図である。 第2の実施形態において実行される合成用画像生成処理(合成用画像生成処理B)を示すフローチャートである。 第3の実施形態において実行される合成用画像生成処理(合成用画像生成処理C)を示すフローチャートである。 第4の実施形態において実行される合成用画像生成処理(合成用画像生成処理D)を示すフローチャートである。 第5の実施形態において実行される合成用画像生成処理(合成用画像生成処理E)を示すフローチャートである。 第6の実施形態において実行される再生制御処理Bを示すフローチャートである。
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
[第1の実施形態]
<コンテンツ再生システム100の構成>
図1、図2は、本実施形態のコンテンツ再生システム100の概略構成を示す図である。図1は、コンテンツ再生システム100の側面図、図2は、コンテンツ再生システム100の正面図である。図2(a)は、映像の投影前、図2(b)は映像の投影時の正面図である。
コンテンツ再生システム100は、投影用映像コンテンツを再生してコンテンツに含まれる投影対象物をその投影対象物の形状に成型されたスクリーンに投影するシステムである。本実施形態においては、投影対象物を人物とし、スクリーンは人型である場合を例にとり説明するが、これに限定されるものではない。投影対象物は、例えば、キャラクタや動物等であってもよい。
図1に示すように、コンテンツ再生システム100は、画像処理装置1、プロジェクタ2、カメラ3、スピーカ4、スクリーン5、マイク7等を備えて構成されている。プロジェクタ2、カメラ3、スピーカ4、マイク7は、画像処理装置1に接続されている。
画像処理装置1は、投影用映像コンテンツの映像データにおける、当該映像データをスクリーン5に投影したときに人物領域の輪郭とスクリーン5の外形との間に相当する領域(余白領域)に画像を合成し、合成した画像をプロジェクタ2に送信してスクリーン5上に投影させる装置である。画像処理装置1としては、例えば、PC(Personal Computer)、端末装置等が適用可能である。
ここで、スクリーン5の外形とは、スクリーン5の輪郭を指し、スクリーン5の外形領域とは、スクリーン5の外形に囲まれた領域を指す。また、スクリーン5の外形と投影像の人物領域(人物像)の輪郭との間の領域を余白領域と呼び、投影用映像コンテンツの映像データ(フレーム画像)においては、投影時にスクリーン5の外形と人物像の輪郭との間に相当する領域を余白領域と呼ぶ。
図3に、画像処理装置1の機能構成例を示す。図3に示すように、画像処理装置1は、制御部10、操作部11、表示部12、記憶部13、I/F14、I/F15、音声出力部16、I/F17等を備えて構成されている。
制御部10は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)等を備えて構成される。制御部10のCPUは、記憶部13のプログラム記憶部131に記憶されているプログラムを読み出し、RAMのワークエリアに展開し、展開したプログラムに従って、後述する再生制御処理を始めとする各種処理を実行する。制御部10のRAMは、揮発性のメモリであり、CPUにより実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。
制御部10は、再生制御処理を実行することにより、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段として機能する。
操作部11は、各種機能キーやカーソルキー等を有し、ユーザによるキー入力を受け付けてその操作情報を制御部10に出力する。
表示部12は、LCD(Liquid Crystal Display)等により構成され、制御部10からの表示制御信号に従って、各種表示を行う。
記憶部13は、HDD(Hard Disk Drive)や半導体の不揮発性メモリ等により構成される。記憶部13には、図3に示すように、プログラム記憶部131、映像データ記憶部132、設定情報記憶部133が設けられている。
プログラム記憶部131には、制御部10で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。プログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部131に格納されている。制御部10は、当該プログラムコードに従った動作を逐次実行する。
映像データ記憶部132は、投影用映像コンテンツの映像データを記憶する。映像データは、動画データを構成する複数のフレーム画像のデータ及び各フレーム画像に対応する音声データにより構成されている。
設定情報記憶部133は、投影用映像コンテンツの映像データをスクリーン5に投影する際の人物領域の倍率及び位置の移動量を示す設定情報を記憶する。倍率の設定情報は、例えば、投影用映像コンテンツのフレーム画像(例えば、1フレーム目のフレーム画像)から、例えば画像認識等の公知の画像処理によって人物領域を抽出し、抽出した人物領域のサイズ、プロジェクタ2の拡大率、スクリーン5のサイズ等に基づいて、予め算出されて登録されている。位置の移動量の設定情報としては、例えば、投影用映像コンテンツのフレーム画像から画像処理によって人物領域を抽出し、その人物領域の重心を求め、求めた重心位置が画像中央に一致するように移動させたときの移動量及び移動方向が予め登録されている。
I/F14は、プロジェクタ2と接続し、データ送受信を行うためのインターフェースである。
I/F15は、カメラ3と接続し、データ送受信を行うためのインターフェースである。
音声出力部16は、スピーカ4が接続され、制御部10により指示された音声データを音声信号に変換してスピーカ4から出力させる。
I/F17は、マイク7と接続し、マイク7からの音声の電気信号を入力する。
プロジェクタ2は、画像処理装置1から送信されたフレーム画像に基づいてスクリーン5の背面から映像を投影する背面投射型の投影装置である。プロジェクタ2は、例えば、フレーム画像に基づいて、アレイ状に配列された複数個(XGAの場合、横1024画素×縦768画素)の微小ミラーの各傾斜角度を個々に高速でオン/オフ動作して表示動作することでその反射光により光像を形成する表示素子であるDMD(デジタルマイクロミラーデバイス)を利用したDLP(Digital Light Processing)(登録商標)プロジェクタが適用可能である。投影対象物がフレーム画像中の人物領域である場合には、人物領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、人物領域を投影することが可能となる。
カメラ3は、スクリーン5の外形が視野内に収まる位置に設置され、画像処理装置1からの指示に従ってスクリーン5を撮影し、得られた撮影画像をI/F15を介して画像処理装置1に送信する。
スクリーン5は、支持台6に支持され、プロジェクタ2の出力光照射方向に配置された人型のスクリーンである。スクリーン5は、図1に示すように、投影対象の人型に成型された透明アクリル板等の基材51の前面上側に背面投影用のスクリーンフィルム52が貼付され、下側に投影対象の人物の下半身が印刷されたフィルム53が貼付されて構成されている。このスクリーンフィルムは市販されている高輝度、高コントラストを有するものを用いることにより、日中の明るさであっても、また、明るい居室内であっても、スクリーン5に投影されたコンテンツを視認することができる。
なお、本実施形態においては、人物の上半身が撮影された投影用映像コンテンツをスクリーン5に投影する場合を例としているが、スクリーン5の基材51の全面に背面投影用のスクリーンフィルム52を貼付した構成とし、人物の全身が撮影された投影用映像コンテンツをスクリーン5に投影することとしてもよい。
マイク7は、音声を検出して電気信号に変換する。
<画像処理装置1の動作>
次に、本実施形態における動作について説明する。
図1に示すコンテンツ再生システム100の構成においては、投影用映像コンテンツのフレーム画像やスクリーン5に投影した投影像の撮影画像は、正面像とは左右を反転したものとなるが、以下の説明に使用する図においては左右反転は省略し、全て正面像として図示する。
図4に、画像処理装置1によって実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、位置合わせ処理を実行する(ステップS1)。
図5に、位置合わせ処理のフローチャートを示す。位置合わせ処理は、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
位置合わせ処理において、まず、制御部10は、投影用映像コンテンツのフレーム画像(例えば、1フレーム目)を記憶部13の映像データ記憶部132から読み出して取得する(ステップS101)。
次いで、制御部10は、記憶部13の設定情報記憶部133から設定情報を取得し、取得した設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する(ステップS102)。
次いで、制御部10は、作成されたフレーム画像から人物領域を抽出し、抽出した人物領域の位置情報及び作成されたフレーム画像をI/F14を介してプロジェクタ2に送信し、プロジェクタ2によりフレーム画像中の人物領域をスクリーン5に投影させる(ステップS103)。人物領域は、例えば、画像認識等の公知の画像処理技術によって抽出することができる。
次いで、制御部10は、スクリーン5を含む投影像をカメラ3に撮影させて撮影画像を取得し(ステップS104)、取得した撮影画像からスクリーン5の外形領域を抽出する(ステップS105)。
ステップS105におけるスクリーン5の外形領域は、例えば、撮影画像にぼかし処理及び二値化処理を施すことにより抽出することとするが、これに限らず、その他の公知の画像処理技術を用いて抽出してもよい。
次いで、制御部10は、撮影画像から投影像の人物領域を抽出する(ステップS106)。例えば、撮影画像に、ステップS105より高い(明るい)輝度の閾値を用いて二値化処理を施すことにより人物領域を抽出することとするが、これに限らず、その他の公知の画像処理技術を用いて抽出してもよい。
次いで、制御部10は、抽出されたスクリーン5の外形領域と人物領域とを比較し、両者の位置合わせを行う(ステップS107)。例えば、スクリーン5の外形領域の重心と人物領域の重心をそれぞれ求め、両者が一致するように人物領域を移動させた後、人物領域がスクリーン5の外形領域に対して予め定められたサイズ(例えば、約0.9倍)となるように人物領域の倍率を変更する。
次いで、制御部10は、ステップS107の位置合わせで取得した人物領域の倍率及び移動量(及び移動方向)に基づいて、投影時のフレーム画像における人物領域の倍率及び位置の移動量(及び移動方向)を算出し、算出結果により設定情報記憶部133に記憶されている設定情報を更新し(ステップS108)、図4のステップS2の処理に移行する。
図4のステップS2においては、スクリーン外形抽出処理が実行される(ステップS2)。
図6に、スクリーン外形抽出処理のフローチャートを示す。スクリーン外形抽出処理は、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、投影用映像コンテンツのフレーム画像と同サイズの画像をn×n(nは正の整数)の領域に分割し、分割線の入った画像をI/F14を介してプロジェクタ2に送信し、投影させる(ステップS201)。
次いで、制御部10は、投影中のスクリーン5を含む投影像をカメラ3に撮影させて撮影画像を取得し(ステップS202)、取得された撮影画像からスクリーン5の外形を抽出し(ステップS203)、図4のステップS3の処理に移行する。スクリーン5の外形の抽出は、図5のステップS105で説明したものと同様の処理によりスクリーン5の外形領域を抽出し、その輪郭を抽出することにより行うことができる。図7(a)に、ステップS202で取得される撮影画像の模式図を示す。
図4のステップS3においては、合成画像生成処理が実行される(ステップS3)。本実施形態においては、合成画像生成処理として、図8に示す合成画像生成処理Aが実行される。
図8に、合成画像生成処理のフローチャートを示す。合成画像生成処理は、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、投影用映像コンテンツのフレーム画像を記憶部13の映像データ記憶部132から読み出して取得する(ステップS301)。
次いで、制御部10は、余白領域抽出処理を実行する(ステップS302)。
図9に、余白領域抽出処理のフローチャートを示す。余白領域抽出処理は、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、記憶部13の設定情報記憶部133から当該投影用映像コンテンツのフレーム画像を投影する際の人物領域の倍率及び位置の移動量の設定情報を取得し、取得された設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する(ステップS2021)。
次いで、制御部10は、作成したフレーム画像をn×nに分割し、分割線をフレーム画像に付加する(ステップS2022、図7(b)参照)。
次いで、制御部10は、上記フレーム画像から人物領域を抽出する(ステップS2023)。人物領域の抽出は、例えば、画像認識等の画像処理等の公知の画像処理技術によって行うことができる。
そして、制御部10は、図4のステップS2のスクリーン外形抽出処理で抽出したスクリーンの外形と、抽出した人物領域の輪郭とを比較して、フレーム画像から余白領域を抽出する(ステップS2024)。例えば、スクリーン外形抽出処理で撮影された撮影画像の分割線とフレーム画像の分割線とで撮影画像とフレーム画像との対応をとり、撮影画像の倍率を変更して撮影画像の分割線をフレーム画像の分割線に合わせる。これにより、フレーム画像中のスクリーン5の外形に相当する位置を特定することができる。次いで、フレーム画像におけるスクリーン5の外形とフレーム画像中の人物領域の輪郭とを比較し、人物領域の輪郭とスクリーンの外形との間の領域を余白領域として抽出する。図7(c)に、図7(a)に示すスクリーン外形と図7(b)に示す人物領域に基づいて抽出された余白領域を示す。図7(c)において斜線で示した部分が余白領域である。余白領域の抽出後、制御部10は、図8のステップS303の処理に移行する。
図8のステップS303においては、抽出された余白領域に所定の色を付した合成用画像が生成される(ステップS303)。所定の色は、例えば、操作部11からユーザが予め設定することができる。また、色に限らず、パターン等を余白領域に付すこととしてもよい。
そして、制御部10は、生成した合成用画像をフレーム画像(ステップS301で取得したフレーム画像)に対応付けて記憶部13に記憶する(ステップS304)。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。
次いで、制御部10は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する(ステップS305)。次のフレーム画像が存在すると判断した場合(ステップS305;YES)、制御部10は、ステップS301の処理に戻り、次のフレーム画像についてステップS301〜ステップS304の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合(ステップS305;NO)、制御部10は、図4のステップS4の処理に移行する。
なお、余白領域の抽出としては、フレーム画像から抽出した人物領域をスクリーン5に投影し、その投影像を含むスクリーン5をカメラ3により撮影し、取得された撮影画像からスクリーン5の外形と人物領域を抽出し、抽出したスクリーン5の外形と人物領域の輪郭とに基づいて余白領域を抽出することとしてもよい。この場合は、図2のステップS2におけるスクリーン外形抽出処理は不要である。
図4のステップS4において、制御部10は、投影制御処理を実行する(ステップS4)。
図10に、投影制御処理のフローチャートを示す。投影制御処理は、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、投影用映像コンテンツのフレーム画像を記憶部13の映像データ記憶部132から読み出して取得する(ステップS401)。
次いで、制御部10は、記憶部13の設定情報記憶部133から当該投影用映像コンテンツのフレーム画像を投影する際の人物領域の倍率及び位置の移動量の設定情報を取得し、取得された設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する(ステップS402)。
次いで、制御部10は、作成したフレーム画像から人物領域を抽出する(ステップS403)。人物領域の抽出は、例えば、画像認識等の画像処理等の公知の画像処理技術によって行うことができる。
次いで、制御部10は、記憶部13を検索し、取得したフレーム画像に対応する合成用画像が存在するか否かを判断する(ステップS404)。取得したフレーム画像に対応する合成用画像が存在すると判断した場合(ステップS404;YES)、制御部10は、ステップS403で抽出した人物領域とこれに対応付けられた合成用画像を合成して投影画像とし(ステップS405)、ステップS407の処理に移行する。
図11に、投影画像の一例を示す。図11に示すように、投影画像においては、投影時にスクリーン外形と、人物領域の輪郭との間の余白領域に、所定の色やパターン等が合成されている。従って、例えば、この余白領域にスクリーン5の背景と同系色の色等やパターン等を合成することにより、人物像が周囲から浮かび上がったような立体的な投影等を可能とし、演出効果を向上させることが可能となる。
一方、取得したフレーム画像に対応付けられた合成用画像が存在しないと判断した場合(ステップS404;NO)、ステップS403で抽出した人物領域を投影画像とし(ステップS406)、ステップS407の処理に移行する。
ステップS407において、制御部10は、合成された投影画像及び投影画像における投影対象領域の位置情報(人物領域+余白領域の位置情報)をI/F14を介してプロジェクタ2に送信し、プロジェクタ2により投影画像中の投影対象領域をスクリーン5に投影させる。また、元のフレーム画像に対応する音声データを音声出力部16により音声信号に変換させ、スピーカ4より音声出力させる(ステップS407)。
次いで、制御部10は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する(ステップS408)。次のフレーム画像が存在すると判断した場合(ステップS408;YES)、制御部10は、ステップS401の処理に戻り、次のフレーム画像についてステップS401〜ステップS407の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合(ステップS408;NO)、制御部10は、再生制御処理を終了する。
[第2の実施形態]
次に、第2の実施形態について説明する。
第2の実施形態におけるコンテンツ再生システム200は、図12に示すように、図1に示すコンテンツ再生システム100のスクリーン5の前面にカメラ8が設けられている。このカメラ8は、スクリーン5及びその背景を撮影するものであり、画像処理装置1に接続されている。その他の第2の実施形態におけるコンテンツ再生システム200及びこれを構成する各装置の構成は、第1の実施形態で説明したものと同様であるので説明を援用し、以下、第2の実施形態の動作について説明する。
第2の実施形態においては、図4のステップS3で実行される合成用画像生成処理が第1の実施形態で説明したものと異なる。その他の処理は第1の実施形態で説明したものと同様であるので説明を援用し、以下、第2の実施形態において図4のステップS3で実行される合成用画像生成処理(合成用画像生成処理B)について説明する。
制御部10は、合成用画像生成処理Bを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、背景画像取得手段として機能する。
図13に、合成用画像生成処理Bのフローチャートを示す。合成用画像生成処理Bは、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、スクリーン5の背景をカメラ8に撮影させてその撮影画像を取得する(ステップS311)。
次いで、制御部10は、投影用映像コンテンツのフレーム画像を記憶部13の映像データ記憶部132から読み出して取得する(ステップS312)。
次いで、制御部10は、余白領域抽出処理を実行する(ステップS313)。余白領域抽出処理は、第1の実施形態において図9を用いて説明したものと同様であるので説明を援用する。
次いで、制御部10は、抽出された余白領域にステップS311で取得された背景の撮影画像を配置した合成用画像を生成する(ステップS314)。図12に示す構成の場合、例えば、背景の撮影画像の左右を反転させ、背景の撮影画像中のスクリーン5の外形を抽出し、これをフレーム画像のスクリーン外形に相当する、抽出した余白領域の外形に合わせるように撮影画像の倍率を変更し、倍率変更した撮影画像の余白領域に対応する部分の画像を切り出して合成用画像を生成する。
そして、制御部10は、生成した合成用画像をフレーム画像(ステップS312で取得したフレーム画像)に対応付けて記憶部13に記憶する(ステップS315)。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。
次いで、制御部10は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する(ステップS316)。次のフレーム画像が存在すると判断した場合(ステップS316;YES)、制御部10は、ステップS311の処理に戻り、次のフレーム画像についてステップS311〜ステップS315の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合(ステップS316;NO)、制御部10は、図4のステップS4の処理に移行し、図10の投影制御処理を実行する。投影制御処理の実行により、スクリーン5の背景の撮影画像がスクリーン5と人物像との間の余白領域に投影される。
第2の実施形態によれば、スクリーン5と人物像との間の余白領域に背景の撮影画像が投影されるので、背景の前にあたかも人物が存在するかのような自然な投影を行うことが可能となり、演出効果を向上させることが可能となる。
[第3の実施形態]
次に、第3の実施形態について説明する。
第3の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第1の実施形態で説明したものと同様であるので説明を援用し、以下、第3の実施形態の動作について説明する。
第3の実施形態の動作は、図4のステップS3で実行される合成用画像生成処理が第1の実施形態と異なる。その他の処理は第1の実施形態で説明したものと同様であるので説明を援用し、以下、第3の実施形態において図4のステップS3で実行される合成用画像生成処理(合成用画像生成処理C)について説明する。
制御部10は、合成用画像生成処理Cを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、テキスト取得手段として機能する。
図14に、合成用画像生成処理Cのフローチャートを示す。合成用画像生成処理Cは、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、投影用映像コンテンツの音声を取得する(ステップS321)。具体的には、制御部10は、投影用映像コンテンツの音声データを映像データ記憶部132から読み出し、音声出力部16により音声信号に変換してスピーカ4により出力させる。そして、マイク7により入力されたその音声信号の音声波形を取得する。
次いで、制御部10は、取得された音声波形を解析して音声認識を行い、音声に対応するテキストを作成する(ステップS322)。
次いで、制御部10は、作成されたテキストの区切りを検出し、検出した区切りごとにテキストの表示タイミングを決定し、投影用映像コンテンツの各フレーム画像とテキストとを対応付けて記憶する(ステップS323)。例えば、制御部10は、公知の形態素解析技術等によりテキストの区切りを決定し、区切られたひとまとまりのテキストの音声が再生されるタイミングで表示(投影)される一連のフレーム画像の表示タイミングをそのひとまとまりのテキストの表示タイミングとして決定する。そして、テキストの区切り毎に、テキストをそのテキストの表示タイミングと同じ表示タイミングで表示するフレーム画像に対応付けて記憶する。例えば、テキストを、フレーム画像を識別するための識別番号と対応付けて記憶する。
例えば、「いらっしゃいませ」という音声が再生されるタイミングで表示されるフレーム画像がフレーム番号1〜5の画像である場合、「いらっしゃいませ」というテキストの表示タイミングをフレーム番号1〜5のフレーム画像の表示タイミングに決定する。そして、「いらっしゃいませ」というテキストにフレーム番号1〜5を対応付けて記憶する。
次いで、制御部10は、投影用映像コンテンツのフレーム画像を記憶部13の映像データ記憶部132から読み出して取得し(ステップS324)、余白領域抽出処理を実行する(ステップS325)。余白領域抽出処理は、第1の実施形態において図9を用いて説明したものと同様であるので説明を援用する。
次いで、制御部10は、抽出された余白領域に、このフレーム画像に対応付けられたテキストを配置して合成用画像を生成する(ステップS326)。
そして、制御部10は、生成した合成用画像をフレーム画像に対応付けて記憶部13に記憶する(ステップS327)。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。
次いで、制御部10は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する(ステップS328)。次のフレーム画像が存在すると判断した場合(ステップS328;YES)、制御部10は、ステップS324の処理に戻り、次のフレーム画像についてステップS324〜ステップS327の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合(ステップS328;NO)、制御部10は、図4のステップS4の処理に移行し、図10の投影制御処理を実行する。投影制御処理の実行により、出力される音声のテキストがその音声の出力時に投影される人物像とスクリーン5との間の余白領域に表示される。
第3の実施形態によれば、出力されている音声のテキストが人物像とスクリーン5との間の余白領域に表示されるので、音声が聞き取りにくい場合であっても聴衆はその投影されている人物像が何を言っているのかを容易に認識することが可能となる。
[第4の実施形態]
次に、第4の実施形態について説明する。
第4の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第1の実施形態で説明したものと同様であるので説明を援用し、以下、第4の実施形態の動作について説明する。
第4の実施形態の動作は、図4のステップS3で実行される合成用画像生成処理が第1の実施形態と異なる。その他の処理は第1の実施形態で説明したものと同様であるので説明を援用し、以下、第4の実施形態において図4のステップS3で実行される合成用画像生成処理(合成用画像生成処理D)について説明する。
制御部10は、合成用画像生成処理Dを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段として機能する。また、制御部10は、マイク7と協働して検出手段として機能する。
図15に、合成用画像生成処理Dのフローチャートを示す。合成用画像生成処理Dは、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、投影用映像コンテンツの音声を取得する(ステップS331)。具体的には、制御部10は、投影用映像コンテンツの音声データを映像データ記憶部132から読み出し、音声出力部16により音声信号に変換してスピーカ4により出力させる。そして、マイク7により入力されたその音声信号の音声波形を取得する。
次いで、制御部10は、取得された音声波形を解析して音声の強度を検出する(ステップS332)。
次いで、制御部10は、検出された音声の強度の値が予め定められた閾値を超えるか否かに基づいて、検出された音声強度が強、中、弱の何れであるかを判別する(ステップS333)。音声強度が強である場合(ステップS333;強)、制御部10は、音声出力時の余白領域の色として明るい色を決定する(ステップS334)。音声強度が中である場合(ステップS333;中)、制御部10は、音声出力時の余白領域の色として中間の色を決定する(ステップS335)。音声強度が弱である場合(ステップS333;弱)、制御部10は、音声出力時の余白領域の色として暗い色を決定する(ステップS336)。ここで、明るい色、中間の色、暗い色のそれぞれに該当する色は、予め定められている。
制御部10は、ステップS332で取得された全ての音声波形に対する解析及び余白領域の色の決定が終了するまでステップS332〜ステップS336の処理を繰り返し実行し、余白領域の色の決定が終了すると(ステップS337;YES)、ステップS338の処理に移行する。
ステップS338において、制御部10は、音声の再生タイミングに応じて各色の表示タイミングを決定し、決定された表示タイミングと同じ表示タイミングで表示されるフレーム画像にその色を対応付けて記憶し(ステップS338)、ステップS339の処理に移行する。例えば、フレーム画像の識別番号と色とを対応付けて記憶する。
ステップS339において、制御部10は、投影用映像コンテンツのフレーム画像を記憶部13の映像データ記憶部132から読み出して取得する(ステップS339)。
次いで、制御部10は、余白領域抽出処理を実行する(ステップS340)。余白領域抽出処理は、第1の実施形態において図9を用いて説明したものと同様であるので説明を援用する。
次いで、制御部10は、抽出された余白領域にステップS338で対応付けられた色を配置した合成用画像を生成する(ステップS341)。そして、制御部10は、生成した合成用画像をフレーム画像に対応付けて記憶部13に記憶する(ステップS342)。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。
次いで、制御部10は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する(ステップS343)。次のフレーム画像が存在すると判断した場合(ステップS343;YES)、制御部10は、ステップS339の処理に戻り、次のフレーム画像についてステップS339〜ステップS342の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合(ステップS343;NO)、制御部10は、図4のステップS4の処理に移行し、図10の投影制御処理を実行する。投影制御処理の実行により、音声の強度に応じた色がフレーム画像の余白領域に合成される。
第4の実施形態によれば、人物像とスクリーン5との間の余白領域が音声の強度に応じた色で表示される。従って、投影用映像コンテンツにおいて音声が強調されている時に人物像のまわりが明るい色となるので、強調したい部分を聴衆に印象付けることができる。
なお、第4の実施形態においては、投影用映像コンテンツの音の強度を解析し、音の強度に応じた色で余白領域を投影することとして説明したが、音量を解析し、音量に応じた色で余白領域を投影することとしてもよい。
[第5の実施形態]
次に、第5の実施形態について説明する。
第5の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第1の実施形態で説明したものと同様であるので説明を援用し、以下、第5の実施形態の動作について説明する。
第5の実施形態の動作は、図4のステップS3で実行される合成用画像生成処理が第1の実施形態と異なる。その他の処理は第1の実施形態で説明したものと同様であるので説明を援用し、以下、第5の実施形態において図4のステップS3で実行される合成用画像生成処理(合成用画像生成処理E)について説明する。
制御部10は、合成用画像生成処理Eを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、判別手段として機能する。
図16に、合成用画像生成処理Eのフローチャートを示す。合成用画像生成処理Eは、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
まず、制御部10は、投影用映像コンテンツのフレーム画像(例えば、1フレーム目のフレーム画像)を映像データ記憶部132から読み出して取得する(ステップS351)。
次いで、制御部10は、フレーム画像に含まれる人物が男性であるか女性であるかを判別する(ステップS352)。具体的には、公知の顔認識技術を用いて、フレーム画像に含まれる人物が男性であるか女性であるかを判別する。例えば、予め複数の男性、女性の顔画像から予め定められた複数の特徴(例えば、鼻の長さ、幅等)の平均を抽出しておく。そして、フレーム画像に含まれる人物の顔の特徴を解析し、各特徴が男女の何れに近いかによって男性であるか女性であるかを判別する。
ステップS352において、男性であると判別した場合(ステップS352;男)、制御部10は、余白領域のデザインを男性らしいデザインに決定し(ステップS353)、ステップS355の処理に移行する。
一方、ステップS352において、女性であると判別した場合(ステップS352;女性)、制御部10は、余白領域のデザインを女性らしいデザインに決定し(ステップS354)、ステップS355の処理に移行する。
男性らしいデザインと女性らしいデザインの画像は、それぞれ記憶部13に予め記憶されている。
ステップS355において、制御部10は、投影用映像コンテンツのフレーム画像を記憶部13の映像データ記憶部132から読み出して取得する(ステップS355)。
次いで、制御部10は、余白領域抽出処理を実行する(ステップS356)。余白領域抽出処理は、第1の実施形態において図9を用いて説明したものと同様であるので説明を援用する。
次いで、制御部10は、抽出された余白領域に決定したデザインを配置した合成用画像を生成する(ステップS357)。そして、制御部10は、生成した合成用画像をフレーム画像に対応付けて記憶部13に記憶する(ステップS358)。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。
次いで、制御部10は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する(ステップS359)。次のフレーム画像が存在すると判断した場合(ステップS359;YES)、制御部10は、ステップS355の処理に戻り、次のフレーム画像についてステップS355〜ステップS358の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合(ステップS359;NO)、制御部10は、図4のステップS4の処理に移行し、図10の投影制御処理を実行する。投影制御処理の実行により、投影対象の人物に応じたデザインが人物像とスクリーン5の間に投影される。
第5の実施形態によれば、投影対象の人物が男性か女性かを判別し、判別結果に応じたデザインを人物像とスクリーン5との間の余白領域に表示する。従って、投影対象の人物のまわりにその人物に適したデザインが表示されるので、自然な投影とすることができる。
[第6の実施形態]
次に、第6の実施形態について説明する。
第6の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第1の実施形態で説明したものと同様であるので説明を援用し、以下、第6の実施形態の動作について説明する。
図17に、第6の実施形態において実行される再生制御処理(再生制御処理Bとする)のフローチャートを示す。再生制御処理Bは、制御部10のCPUとプログラム記憶部131に記憶されているプログラムとの協働により実行される。
制御部10は、再生制御処理Bを実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、人数取得手段、聴衆画像取得手段として機能する。
まず、制御部10は、位置合わせ処理を実行する(ステップS11)。位置合わせ処理は、図5を用いて説明したものと同様であるので説明を援用する。
次いで、制御部10は、スクリーン外形抽出処理を実行する(ステップS12)。スクリーン外形抽出処理は、図6を用いて説明したものと同様であるので説明を援用する。
次いで、制御部10は、投影用映像コンテンツのフレーム画像(例えば、1フレーム目のフレーム画像)を映像データ記憶部132から読み出して取得する(ステップS13)。
次いで、制御部10は、カメラ3に聴衆の撮影を行わせて撮影画像を取得し(ステップS14)、取得した撮影画像を解析して聴衆の人数を取得する(ステップS15)。例えば、撮影画像で顔認識できた人数を取得する。また、止まっている人数、即ち、1つ前の撮影画像で顔認識した人物のうち、位置が予め定められた閾値以上移動していない人数を取得することとしてもよい。なお、聴衆の撮影は、カメラ3とは別途設けたカメラにより行うこととしてもよい。
人数が10人以上であった場合(ステップS16;10人以上)、制御部10は、投影される人物像とスクリーン5の間の余白領域に配置する色を明るい色に決定し(ステップS17)、ステップS20の処理に移行する。人数が5〜9人以上であった場合(ステップS16;5〜9人)、制御部10は、人物像とスクリーン5の間の余白領域に配置する色を中間の色に決定し(ステップS18)、ステップS20の処理に移行する。人数が0〜4人であった場合(ステップS16;0〜4人)、制御部10は、人物像とスクリーン5の間の余白領域に配置する色を暗い色に決定し(ステップS19)、ステップS20の処理に移行する。
ここで、明るい色、中間の色、暗い色のそれぞれに該当する色は、予め定められている。
ステップS20において、制御部10は、余白領域抽出処理を実行する(ステップS20)。余白領域抽出処理は、第1の実施形態において図9を用いて説明したものと同様であるので説明を援用する。
次いで、制御部10は、抽出された余白領域に決定した色の画像を合成し、投影画像を生成する(ステップS21)。そして、制御部10は、合成された投影画像及び投影画像における投影対象領域の位置情報(人物領域+余白領域の位置情報)をI/F14を介してプロジェクタ2に送信し、プロジェクタ2により投影画像中の投影対象領域をスクリーン5に投影させる。また、元のフレーム画像に対応する音声データを音声出力部16により音声信号に変換させ、スピーカ4より音声出力させる(ステップS22)。
次いで、制御部10は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する(ステップS23)。次のフレーム画像が存在すると判断した場合(ステップS23;YES)、制御部10は、ステップS13の処理に戻り、次のフレーム画像についてステップS13〜ステップS22の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合(ステップS23;NO)、制御部10は、再生制御処理Bを終了する。
第6の実施形態によれば、投影用映像コンテンツを見ている聴衆の人数によって人物像とスクリーン5との間の余白領域に配置する色を変更する。具体的には、人数が多いときには明るい色を配置する。従って、多くの聴衆が集まっているときに投影する人物の周囲をより明るい色にして目立たせることによって、より注目度を挙げて演出を効果的にすることが可能となる。また、投影用映像コンテンツの提供側は、投影像を一瞥するだけで聴衆のおおよその数を容易に把握することが可能となる。
以上説明したように、画像処理装置1の制御部10は、映像コンテンツの映像データから投影対象物である人物領域を抽出し、当該抽出した人物領域の輪郭と、撮影画像から抽出されたスクリーン5の外形に基づいて、映像データにおける、当該映像データをスクリーン5に投影したときに人物領域の輪郭とスクリーン5の外形の間に相当する余白領域に画像を合成する。そして、合成された映像データに基づいて、人物像の輪郭とスクリーン5の外形の間に画像が合成された映像コンテンツをプロジェクタ2によりスクリーン5上に投影させる。
従って、スクリーンと人物像との間の余白領域に合成した画像が投影されるので、スクリーンと人物像との間の余白領域を利用して、演出効果を向上させることが可能となる。
例えば、映像データにおける人物領域の輪郭とスクリーン5の外形の間に相当する領域に、背景と同系色の色又はパターンの画像を合成することで、人物像が周囲から浮かび上がったような立体的な投影等を可能とし、演出効果を向上させることが可能となる。
また、映像データにおける人物領域の輪郭とスクリーン5の外形の間に相当する領域に、スクリーン5の背景の撮影画像を合成することで、背景の前にあたかも人物が存在するかのような自然な投影を行うことが可能となり、演出効果を向上させることが可能となる。
また、例えば、映像データにおける人物領域の輪郭とスクリーン5の外形の間に相当する領域に、映像コンテンツの音声のテキスト情報を合成することで、投影時に出力されている音声のテキストが人物像とスクリーン5との余白領域に表示されるので、音声が聞き取りにくい場合であっても聴衆はその投影されている人物像が何を言っているのかを容易に認識することが可能となる。
また、例えば、映像データにおける人物領域の輪郭とスクリーン5の外形の間に相当する領域に、映像コンテンツの音声の強度に対応する色(強度が高いほど明るい色)の画像を合成することで、投影の際に、音声が強調されている時に人物像のまわりを明るい色とすることができ、強調したい部分を聴衆に印象付けることができる。
また、例えば、映像データにおける人物領域の輪郭とスクリーン5の外形の間に相当する領域に、人物像の性別に応じたデザインの画像を合成することで、投影時には人物像のまわりにその人物像に適したデザインの画像を表示することができる。
また、例えば、映像データにおける人物領域の輪郭とスクリーン5の外形の間に相当する領域に、聴衆の人数に応じた色の画像を合成する(具体的には、人数が多いときには明るい色を合成する)ことで、多くの聴衆が集まっているときに投影する人物の周囲をより明るい色にして目立たせることができ、演出を効果的にすることが可能となる。また、投影用映像コンテンツの提供側は、聴衆のおおよその数を、投影像を一瞥するだけで容易に把握することが可能となる。
なお、上記実施形態における記述内容は、本発明に係るコンテンツ再生システムの好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、画像処理装置1とプロジェクタ2とは別体であることとして説明したが、一体的に構成されたものであってもよい。また、プロジェクタ2とカメラ3は一体的に構成されたものであってもよい。
また、上記実施形態においては、プロジェクタ2の出力光がスクリーン5の背面に直接照射される構成を例にとり説明したが、プロジェクタ2の出力光を反射するミラーを設け、ミラーの反射光をプロジェクタ2の背面に投影することとしてもよい。
また、上記実施形態においては、投影用映像コンテンツの映像データは記憶部13に記憶されていることとして説明したが、画像処理装置1に通信ネットワークを介して接続されるサーバから配信される構成としてもよい。また、USBメモリや各種の記録媒体から映像データを取り込む構成としてもよい。
また、上記第1〜第5の実施形態においては、まず、余白領域に配置する色やテキスト、デザイン等の合成用画像を生成し、その後で各フレーム画像に合成用画像を合成することとして説明したが、決定した色やテキスト、デザイン等を直接各フレーム画像に合成することとしてもよい。
また、上記実施形態においては、制御部10がカメラ3やカメラ8を制御して撮影を行わせることにより各種撮影画像を取得することとして説明したが、予め撮影された撮影画像を記憶部13に記憶しておき、制御部10が必要時に記憶部13から読み出すことにより取得することとしてもよい。
また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
その他、コンテンツ再生システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
(付記)
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する合成手段と、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段と、
を備える画像処理装置。
<請求項2>
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、所定の色又はパターンの画像を合成する請求項1に記載の画像処理装置。
<請求項3>
前記スクリーンの背景の撮影画像を取得する背景画像取得手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記スクリーンの背景の撮影画像を合成する請求項1に記載の画像処理装置。
<請求項4>
前記映像コンテンツの音声を出力する音声出力手段と、
前記映像コンテンツの音声を解析して音声のテキスト情報を取得するテキスト取得手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記映像コンテンツの音声のテキスト情報を合成する請求項1に記載の画像処理装置。
<請求項5>
前記映像コンテンツの音声を出力する音声出力手段と、
前記映像コンテンツの音声を解析して音声の強度を検出する検出手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記映像コンテンツの音声の強度に対応する色の画像を合成する請求項1に記載の画像処理装置。
<請求項6>
前記映像コンテンツの映像データに基づいて前記投影対象物の性別を判別する判別手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記判別手段により判別された性別に応じたデザインの画像を合成する請求項1に記載の画像処理装置。
<請求項7>
前記スクリーンに投影された映像コンテンツの聴衆の人数を取得する人数取得手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記人数取得手段により取得された人数に応じた色の画像を合成する請求項1に記載の画像処理装置。
<請求項8>
前記映像コンテンツの聴衆の撮影画像を取得する聴衆画像取得手段を備え、
前記人数取得手段は、前記映像コンテンツの聴衆の撮影画像を解析して前記聴衆の人数を取得する請求項7に記載の画像処理装置。
<請求項9>
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置における画像処理方法であって、
前記スクリーンを含む撮影画像を取得する工程と、
前記取得された撮影画像から前記スクリーンの外形を抽出する工程と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する工程と、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる工程と、
を含む画像処理方法。
<請求項10>
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置に用いられるコンピュータを、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する合成手段、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段、
として機能させるためのプログラム。
100 コンテンツ再生システム
200 コンテンツ再生システム
1 画像処理装置
10 制御部
11 操作部
12 表示部
13 記憶部
131 プログラム記憶部
132 映像データ記憶部
133 設定情報記憶部
14 I/F
15 I/F
16 音声出力部
17 I/F
2 プロジェクタ
3 カメラ
4 スピーカ
5 スクリーン
51 基材
52 スクリーンフィルム
53 フィルム
6 支持台
7 マイク

Claims (10)

  1. 投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
    前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
    前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段と、
    前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する合成手段と、
    前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段と、
    を備える画像処理装置。
  2. 前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、所定の色又はパターンの画像を合成する請求項1に記載の画像処理装置。
  3. 前記スクリーンの背景の撮影画像を取得する背景画像取得手段を備え、
    前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記スクリーンの背景の撮影画像を合成する請求項1に記載の画像処理装置。
  4. 前記映像コンテンツの音声を出力する音声出力手段と、
    前記映像コンテンツの音声を解析して音声のテキスト情報を取得するテキスト取得手段を備え、
    前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記映像コンテンツの音声のテキスト情報を合成する請求項1に記載の画像処理装置。
  5. 前記映像コンテンツの音声を出力する音声出力手段と、
    前記映像コンテンツの音声を解析して音声の強度を検出する検出手段を備え、
    前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記映像コンテンツの音声の強度に対応する色の画像を合成する請求項1に記載の画像処理装置。
  6. 前記映像コンテンツの映像データに基づいて前記投影対象物の性別を判別する判別手段を備え、
    前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記判別手段により判別された性別に応じたデザインの画像を合成する請求項1に記載の画像処理装置。
  7. 前記スクリーンに投影された映像コンテンツの聴衆の人数を取得する人数取得手段を備え、
    前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記人数取得手段により取得された人数に応じた色の画像を合成する請求項1に記載の画像処理装置。
  8. 前記映像コンテンツの聴衆の撮影画像を取得する聴衆画像取得手段を備え、
    前記人数取得手段は、前記映像コンテンツの聴衆の撮影画像を解析して前記聴衆の人数を取得する請求項7に記載の画像処理装置。
  9. 投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置における画像処理方法であって、
    前記スクリーンを含む撮影画像を取得する工程と、
    前記取得された撮影画像から前記スクリーンの外形を抽出する工程と、
    前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する工程と、
    前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる工程と、
    を含む画像処理方法。
  10. 投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置に用いられるコンピュータを、
    前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段、
    前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段、
    前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する合成手段、
    前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段、
    として機能させるためのプログラム。
JP2012238048A 2012-10-29 2012-10-29 画像処理装置、プログラム及び画像処理方法 Expired - Fee Related JP6102181B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012238048A JP6102181B2 (ja) 2012-10-29 2012-10-29 画像処理装置、プログラム及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012238048A JP6102181B2 (ja) 2012-10-29 2012-10-29 画像処理装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2014089261A true JP2014089261A (ja) 2014-05-15
JP6102181B2 JP6102181B2 (ja) 2017-03-29

Family

ID=50791217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012238048A Expired - Fee Related JP6102181B2 (ja) 2012-10-29 2012-10-29 画像処理装置、プログラム及び画像処理方法

Country Status (1)

Country Link
JP (1) JP6102181B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072570A (ja) * 2002-08-08 2004-03-04 Casio Comput Co Ltd 表示制御装置、情報端末装置、表示制御プログラム
JP2005267611A (ja) * 2004-01-23 2005-09-29 Sony United Kingdom Ltd 表示装置
JP2006350174A (ja) * 2005-06-20 2006-12-28 Seiko Epson Corp プロジェクタ
JP2010261989A (ja) * 2009-04-30 2010-11-18 Konica Minolta Business Technologies Inc 画像処理装置、表示履歴確認支援方法、およびコンピュータプログラム
JP2011082798A (ja) * 2009-10-07 2011-04-21 Sanyo Electric Co Ltd 投写型映像表示装置
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2012044407A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012053227A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 投写型映像表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072570A (ja) * 2002-08-08 2004-03-04 Casio Comput Co Ltd 表示制御装置、情報端末装置、表示制御プログラム
JP2005267611A (ja) * 2004-01-23 2005-09-29 Sony United Kingdom Ltd 表示装置
JP2006350174A (ja) * 2005-06-20 2006-12-28 Seiko Epson Corp プロジェクタ
JP2010261989A (ja) * 2009-04-30 2010-11-18 Konica Minolta Business Technologies Inc 画像処理装置、表示履歴確認支援方法、およびコンピュータプログラム
JP2011082798A (ja) * 2009-10-07 2011-04-21 Sanyo Electric Co Ltd 投写型映像表示装置
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2012044407A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012053227A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 投写型映像表示装置

Also Published As

Publication number Publication date
JP6102181B2 (ja) 2017-03-29

Similar Documents

Publication Publication Date Title
JP6785282B2 (ja) アバタによる生放送方法及び装置
CN104683723B (zh) 显示装置、摄影装置及显示方法
JP4775066B2 (ja) 画像加工装置
JP6016322B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7347597B2 (ja) 動画編集装置、動画編集方法及びプログラム
JP2015007928A (ja) 情報処理装置、コンテンツ課金システム及びプログラム
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
CN106339705B (zh) 图片获取方法及装置
JP2011040921A (ja) コンテンツ生成装置,コンテンツ生成方法およびコンテンツ生成プログラム
JP2014164537A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
US20210383097A1 (en) Object scanning for subsequent object detection
US10349022B2 (en) Image processing apparatus, projector, image processing method, and storage medium storing image processing program
JP6102181B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP6191418B2 (ja) 表示装置、表示方法及びプログラム
US7144114B2 (en) Systems and methods for displaying simulated images
CN102790852B (zh) 图像合成显示装置、图像合成显示方法及摄影设备
JP6217696B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021065694A1 (ja) 情報処理システム及び方法
JP6586978B2 (ja) 画像出力装置、画像出力方法及びプログラム
JP2012027340A (ja) カラオケ装置及びカラオケ歌唱者の静止画出力方法
JP6079135B2 (ja) 画像処理装置、映像データ補正方法及びプログラム
JP2016057417A (ja) 情報出力装置、コンテンツ出力方法、及びプログラム
JP6263912B2 (ja) 画像表示装置及びプログラム
JP2017059916A (ja) コンテンツ出力装置、コンテンツ出力方法及びプログラム
TWI700003B (zh) 客製化動態影音場景生成系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R150 Certificate of patent or registration of utility model

Ref document number: 6102181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees