JP2015530004A - 画像生成方法 - Google Patents

Abstract

【課題】画像生成方法を提供する。【解決手段】画像生成方法は、単色画像と第１画像とを交互に表示する工程と、表示される単色画像と第１画像を背景にして撮影し処理を行うことにより、単色画像を背景とする第２画像を取得する工程と、第２画像における単色画像の部分を第１画像に置き換えて、第３画像を生成する工程と、を含む。【選択図】図３

Description

本発明は、画像生成方法に関し、特に画像における単色画像部分を置き換える画像生成方法に関する。

コンピュータの普及に従い、様々なイメージ、文字、画像、音声などのデータの製品又はサービスは、情報技術を用いて、デジタル化され統合的に応用されている。このため、ますます多くの人はデジタルコンテンツにより、講演、会議、授業などの活動が支えられている。

このような活動のほとんどの場面では、撮影によりその活動状況を生放送又はビデオ放送で参加者に提示する必要がある。図１を参照されたい。図１は、従来技術において、デジタルコンテンツを用いて活動を撮影し、生成したビデオの模式図である。従来技術では、常にデジタルコンテンツ１０１と講演者１０２をそれぞれビデオ画面１００の２つの区分に分けた所に配置する。しかしながら、このように撮影したビデオに、講演者１０２は、その手でデジタルコンテンツ１０１の対応する部分を直接指すことができないので、ビデオを見ている参加者に臨場感を与えることができない。

図２を参照されたい。図２は、従来技術における、デジタルコンテンツを用いた活動の撮影場面の模式図である。この撮影方法では、講演者２０３は、単色カーテン２０１の前に位置し、撮影機２０２にて撮影される。そして、デジタルコンテンツを、単色カーテン２０１の区域に対応させ撮影したビデオに合成する。

講演者２０３にデジタルコンテンツに対応した場所を認識させるためには、講演者２０３がすぐに合成されたビデオが見られるように、一般的に撮影の現場に表示素子２０４を設置する必要がある。しかしながら、デジタルコンテンツは、単色カーテン２０１に表示されず表示装置（モニター）２０４に表示されるので、講演者２０３の視線はしばしば傍に置かれた表示素子２０４に向くことになってしまう。そのため、ビデオを見る視聴者は、講演者の視線が不自然であると感じることがある。

なお、講演者２０３が合成されたビデオの対象（例えば人物又は役者）とインタラクティブ（相互のやり取り）する必要がある際、この撮影方法では、講演者２０３とビデオの対象とのインタラクティブが不正確になるとともに講演者２０３の実演空間を制約することが多い。

このため、本発明の一態様は、交互に表示された単色画面と第１画像を背景にして撮影し、単色画像を背景とする第２画像を取得するとともに、第２画像における単色画面の部分を第１画像に置き換える画像生成方法を提供する。画像生成方法は、単色画像と第１画像を交互に表示する工程（ａ）と、表示された単色画像と第１画像を背景として撮影し処理を行うことにより、単色画像を背景とする第２画像を取得する工程（ｂ）と、第２画像における単色画像の部分を第１画像に置き換えて、第３画像を生成する工程（ｃ）と、を含む。

本発明を適用することにより、以下の利点を有する。講演者は、所定の表示位置に表示される背景画像を直視することができ、視線を傍に置かれた表示装置に向ける必要がない。そのため、講演者は、撮影した画像に自然な視線を向けられる。特に本発明の一実施例において、講演者は、表示位置に表示される画像とインタラクティブ（例えば画像に文字を書き、絵を描くことや、画像における対象とのインタラクティブ又は他の方法）を行う際、本発明を適用することにより、直接画像のコンテンツに対してインタラクティブ又は注釈を行うことで、講演者は正確にインタラクティブを行うことができる。

なお、生成した画像のデジタルコンテンツは、優れた表示効果を有することができ、撮影環境の要因によりその表示効果に影響を与えることがない。

本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするために、添付図面の説明は以下の通りである。

従来技術における、デジタルコンテンツによる活動を撮影して生成したビデオの模式図である。 従来技術における、デジタルコンテンツによる活動の撮影場面の模式図である。 本発明の一実施形態による画像生成方法のフローチャートである。 図３の画像生成方法を適用する場面の模式図である。 単色画像の一実施例である。 第１画像の一実施例である。 単色画像を背景とする第２画像の一実施例である。 第１画像で単色画像部分を置き換えた第３画像の一実施例である。

以下、図面及び詳しい説明で本発明の思想を明らかにする。当業者であれば、本発明の好適な実施例を理解し、本発明に示された技術によって、本発明の思想と範囲から逸脱せずに、変更や修正を加えることができる。

図３は、本発明の一実施形態による画像生成方法のフローチャートである。画像生成方法は、交互に表示された単色画面と第１画像とを背景にして撮影し、単色画像を背景とした第２画像を取得するとともに、第２画像における単色画面の部分を第１画像に置き換えるものである。画像生成方法は、実際にコンピュータプログラムを用い、コンピュータ読み取り可能な記録媒体に記憶されることにより、コンピュータがこの記録媒体を読み取ってから、実行することができる。コンピュータで読み取り可能な記録媒体は、読出し専用メモリー、フラッシュメモリ、フロッピー（登録商標）ディスク、ハードディスク、レーザーディスク（登録商標）、フラッシュドライブ、テープ、インターネットでアクセス可能なデータベース又は当業者が簡単に想到可能な同じ機能を有する読み取り可能な記録媒体であってもよい。

図４は、図３の画像生成方法を適用する場面の模式図である。図３及び図４を同時に参照されたい。画像生成方法３００は、以下の工程を含む。工程３１０において、所定の背景表示位置４０１に単色画像と第１画像とを交互に表示する。工程３１０は、光学的分割多重、時分割多重、周波数スペクトル分割多重、空間分割多重又は他の分割多重方法により達成される。

図５Ａを参照されたい。図５Ａは、単色画像の一実施例である。単色画像５０１は、緑色、青色、透明又は他の単一色の単色画像であってもよい。本発明の別の実施例において、単色画像は、複数の単一色画像の区域を含んでもよい。本発明の更に他の実施例において、いずれの画像も表示せず、更に単色画像と第１画像とを表示する場所の背景を単色とすることにより、単色画像の表示を実現してもよい。なお、本発明の他の実施例において、他の方法で単色画像を表示してもよく、本開示に限定するものではない。

図５Ｂを参照されたい。図５Ｂは、第１画像の一実施例である。第１画像５０２は、少なくとも１つの文字５０２ａを含んでもよい。そして、工程３１０の一実施例において、所定の背景表示位置４０１に、単色画像５０１と第１画像５０２を交互に表示する。

他の実施例において、第１画像は、少なくとも１つの文字、少なくとも１つのイメージ、少なくとも１つのビデオ又は他のタイプのデジタルコンテンツ或いはそれらの組み合わせを含んでもよく、本開示に限定されるものではない。

なお、工程３１０の一実施例において、所定の背景表示位置４０１に表示装置（例えばＣＲＴ画面、液晶画面又は他のタイプの表示装置）を設置し、単色画像と第１画像を表示装置に交互に表示してもよい。

工程３１０の一実施例において、所定の背景表示位置４０１に、プロジェクタが単色画像と第１画像とを交互に投影するプロジェクタスクリーン又は他の投影可能な投影平面を設置してもよい。また短焦点プロジェクタを用いて所定の背景表示位置４０１に投影することができる。このように、短焦点プロジェクタを所定の背景表示位置４０１に近い箇所に設置することで、所定の背景表示位置４０１の前の講演者４０２が投影光路を遮蔽して、投影不良が発生することを防止することができる。

なお、工程３１０の他の実施例として、他の方法により表示してもよく、本開示に限定されたものではない。

工程３２０において、所定の背景表示位置４０１に表示された単色画像と第１画像とを背景にして撮影し処理を行い、単色画像を背景とする第２画像（図６Ａに示すように）を取得する。

工程３３０において、第２画像における単色画像の部分（例えば図６Ａの６０１）を、第１画像に置き換えて、第３画像（例えば図６Ｂに示すように）を生成する。クロマキー（ｃｈｒｏｍａ ｋｅｙ）技術により単色画像の部分を除去するとともに、第１画像を第３画像のクロマキー処理された領域に合成し、工程３３０を達成することができる。

このように、デジタルコンテンツを第１画像として所定の背景表示位置４０１に交互に表示する際、講演者４０２は、所定の背景表示位置４０１を直視することができ、視線を傍に置かれた表示装置に向ける必要がない。そのため、講演者４０２には、生成した第３画像に自然な視線を向けることができる。

特に本発明の一実施例において、講演者４０２は、所定の背景表示位置４０１に表示された画像とインタラクティブ（例えば画像に文字を書き、絵を描くことと、画像における対象とのインタラクティブ又は他の方法）する必要がある場合、本発明を適用することにより、直接画像のコンテンツに対してインタラクティブ又は注釈を行って、講演者は正確にインタラクティブを行うことができる。

なお、工程３３０において、第１画像とするデジタルコンテンツを、生成した第３画像に置き換えるため、第３画像に置き換えたデジタルコンテンツは、優れた表示効果を有することができ、撮影環境の要因が、その表示効果に影響を与えることがない。

本発明の一実施例において、工程３１０は、時分割により、単色画像と第１画像を所定の背景表示位置４０１に交互に表示することができる。換言すれば、所定の背景表示位置４０１に単色画像と第１画像とを交互に表示することができる。

次に、工程３２０は、単色画像の表示に対応したタイミングに、表示された単色画像を背景にして撮影することにより、単色画像を背景とする第２画像を取得することができる。撮影機４０３を用いて撮影する場合、撮影機４０３にアクティブシャッターを取り付けることができる。そして、アクティブシャッターは、第１画像を表示するタイミングに、撮影機４０３による撮影を遮蔽し、単色画像を表示するタイミングに、撮影機４０３による撮影を遮蔽しないことにより、撮影機４０３は単色画像を背景とした第２画像を撮影することができる。

なお、本発明は、光学的分割により、単色画像と第１画像とを交互に表示することができる（工程３１０）。光学的分割方法は、偏光分割、周波数スペクトル分割、カラーフィルタ、空間分割多重、時分割多重、色差方式、レンズ方式、指向性光源法、視差遮蔽法、回折法、光屈折法、視点分割法又は他の光学的分割方法であってもよい。そして、工程３２０は、単色画像の表示に対応して光学的撮影する方法を採用することにより、表示された単色画像を背景にして撮影し、単色画像を背景とする第２画像を取得することができる。

実際に、工程３１０において、異なる光学特性により、単色画像と第１画像とを所定の背景表示位置４０１に交互に表示することができる。換言すれば、所定の背景表示位置４０１に、異なる光学特性を用いて単色画像と第１画像とを表示することができる。

次に、工程３２０において、撮影する撮影機４０３は、単色画像表示を撮影することができる光学特性を有することにより、表示される単色画像を背景とする場面を撮影することができる。例を挙げると、撮影機４０３に単色画像の表示に対応する光学特性の偏光レンズ、周波数スペクトルレンズ、色レンズ、視差遮蔽レンズ、回折レンズ又は他の光学特性のレンズを取り付けることができ、それにより、撮影機４０３は、単色画像の表示のみを撮影可能な光学特性を有する。

また、工程３２０の別の実施例において、表示される単色画像と第１画像を背景として第４画像を撮影することができる。次に、第４画像から単色画像を背景とする第２画像をフィルター抽出する。例えば、第４画像から第１画像の表示タイミングに対応した画像をフィルター抽出して、単色画像を背景とする第２画像を生成することができる。

本発明の別の幾つかの実施例において、工程３１０において交互に表示する周波数で、単色画像と第１画像を所定の背景表示位置に交互に表示することができる。そして、工程３２０の幾つかの実施例において、交互に表示する周波数により、撮影した画像から、単色画像が表示されるタイミングに撮影した複数の第１画面を取り出すことができる。

次に、取り出した第１画面を第２画像に統合して、工程３３０で更に処理することができる。例を挙げると、工程３１０において、交互に表示する周波数が６０Ｈｚである場合、例えば単色画像は０〜１／６０ｓｅｃ、２／６０ｓｅｃ〜３／６０ｓｅｃ、４／６０ｓｅｃ〜５／６０ｓｅｃにおいて表示され、第１画像は１／６０ｓｅｃ〜２／６０ｓｅｃ、３／６０ｓｅｃ〜４／６０ｓｅｃ、５／６０ｓｅｃ〜６／６０ｓｅｃにおいて表示される。

そして、撮影画像から、単色画像の表示タイミング（０〜１／６０ｓｅｃ、２／６０ｓｅｃ〜３／６０ｓｅｃ、４／６０ｓｅｃ〜５／６０ｓｅｃ）に撮影した第１画面を取り出し、第２画像に統合することができる。

工程３２０の画面の撮影周波数は、工程３１０において交互に表示する頻度の整数倍であってもよい。本実施例において、上記第１画面を取り出すように、１２０Ｈｚの画面撮影周波数（即ち、交互に表示する周波数６０Ｈｚの２倍）で、工程３２０における撮影を行うことができる。

なお、有線又は無線のデータ伝送通信プロトコルにより、先に工程３１０と工程３２０の実行タイミングを同期させることができる。同期するための有線又は無線データ伝送通信プロトコルは、デジタル光処理（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ，ＤＬＰ ＬＩＮＫ）プロトコル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ，ＲＦ）、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、赤外線（Ｉｎｆｒａｒｅｄ，ＩＲ）又は他の同期するためのプロトコルであってもよい。

工程３２０の別の幾つかの実施例において、撮影した画像の複数の画面から、単色画像を背景とする複数の単色背景付き画面を選択することができる。そして、単色背景付き画面を統合して、第２画像を生成することができる。

本発明の更に他の実施例において、工程３１０において、単色画像に所定の標記を表示することができる。表示される所定標記は、少なくとも１つの所定文字、イメージ、単色画像又は他のタイプの標記であってもよい。そして、工程３２０は、撮影した撮影画像の複数の撮影画面から、所定標記を有する複数の標記付き画面を選択する工程を含んでもよい。換言すれば、撮影した画像の撮影画面に所定標記を有するかどうかを一つずつ検出して、所定標記を有する画面を取り出すことができる。

なお、本発明の幾つかの実施例において、工程３１０は、所定標記を単色画像の所定領域に表示することができ、よって、工程３２０においてこの所定領域を検出し、所定標記を有する画面を取り出すことができる。

次に、標記付き画面を統合して、第２画像を生成する。このように、特に工程３１０において交互に表示する周波数又は工程３２０の撮影周波数を調整又は設定を必要とせず単色画像を背景とする画像を取り出すことができる。

なお、画像生成方法は、更に以下の工程を含んでもよい。撮影する際、インタラクティブ指令を検出する。次に、インタラクティブ指令により、即時に工程３１０で交互に表示された第１画像を変更する。

このように、本発明のを適用する場面において、即時に第１画像に出現する内容を変更することができ、講演者４０２が第１画像の既存の内容に限定されなく、その講演内容が一層柔軟性を有することになる。

上記の本発明の実施形態から分かるように、本発明を適用することにより、以下の利点を有する。講演者は、所定の背景表示位置に表示する画像を直視することができ、視線を傍に置かれた表示装置に向ける必要がない。そして、講演者が撮影した画像に、自然な視線を向けられる。特に本発明の一実施例において、講演者は、表示位置に表示される画像とインタラクティブ（例えば画像に文字を書き、絵を描くことや、画像における対象とのインタラクティブ又は他の方法）を行う際、本発明を適用することにより、直接画像のコンテンツに対してインタラクティブ又は注釈を行って、講演者は正確にインタラクティブを行うことができる。

なお、生成した画像におけるデジタルコンテンツは、優れた表示効果を有することができ、撮影環境の要因が、その表示効果に影響を与えることがない。

本発明の実施形態を前述の通りに開示したが、これは、本発明を限定するものではなく、当業者なら誰でも、本発明の思想と範囲から逸脱しない限り、多様の変更や修正を加えることができ、したがって、本発明の保護範囲は、下記添付の特許請求の範囲で指定した内容を基準とするものである。

１００ ビデオ画面
１０１ デジタルコンテンツ
１０２ 講演者
２０１ 単色カーテン
２０２ 撮影機
２０３ 講演者
２０４ 表示素子
３００ 画像生成方法
３１０〜３３０ 工程
４０１ 所定の背景表示位置
４０２ 講演者
４０３ 撮影機
５０１ 単色画像
５０２ 第１画像
５０２ａ 文字
６０１ 第２画像における単色画像の部分

Claims (19)

1. 単色画像と第１画像とを交互に表示する工程（ａ）と、
   表示される前記単色画像と前記第１画像とを背景にして撮影し処理を行うことにより、前記単色画像を背景とする第２画像を取得する工程（ｂ）と、
   前記第２画像における前記単色画像の部分を、前記第１画像に置き換えて、第３画像を生成する工程（ｃ）と、を含むことを特徴とする画像生成方法。
2. 前記工程（ａ）は、時分割で、前記単色画像と前記第１画像とを交互に表示することを含む請求項１に記載の画像生成方法。
3. 前記工程（ｂ）は、
   前記単色画像の表示に対応するタイミングにおいて、表示された前記単色画像を背景として撮影することにより、前記単色画像を背景とする前記第２画像を取得することを含む請求項２に記載の画像生成方法。
4. 前記工程（ａ）は、
   光学的分割で、前記単色画像と前記第１画像とを交互に表示することを含む請求項１に記載の画像生成方法。
5. 前記工程（ｂ）は、
   前記単色画像の表示に対応する光学的撮影方法で、表示された前記単色画像を背景として撮影することにより、前記単色画像を背景とする前記第２画像を取得することを含む請求項４に記載の画像生成方法。
6. 前記光学的分割方法は、偏光分割方法、周波数スペクトル分割方法、カラーフィルタ、空間分割多重法、時分割多重法、色差方式、レンズ方式、指向性光源法、視差遮蔽法、回折法、光屈折法又は視点分割法を含む請求項４に記載の画像生成方法。
7. 前記工程（ｂ）は、
   表示される前記単色画像と前記第１画像とを背景にして第４画像を撮影することと、
   前記第４画像から前記単色画像を背景とする前記第２画像をフィルタ抽出することと、を含む請求項１に記載の画像生成方法。
8. 前記工程（ａ）は、
   前記単色画像と前記第１画像を表示素子に交互に表示することを含む請求項１に記載の画像生成方法。
9. 前記工程（ａ）は、
   前記単色画像と前記第１画像を投影スクリーンに交互に投影することを含む請求項１に記載の画像生成方法。
10. 撮影する際、インタラクティブ指令を検出することと、
    前記インタラクティブ指令により、即時に前記第１画像を変更することと、を更に含む請求項１に記載の画像生成方法。
11. 前記工程（ｂ）は、
    表示される前記単色画像と前記第１画像を背景にして撮影して撮影画像を取得する工程（ｂ１）と、
    前記撮影画像から前記単色画像を背景とする前記第２画像を取り出す工程（ｂ２）と、を含む請求項１に記載の画像生成方法。
12. 前記工程（ａ）において、交互に表示する周波数で実行し、
    前記工程（ｂ２）は、
    前記交互に表示する周波数により、前記撮影画像から、前記単色画像が表示する際の少なくとも１つの単色画像の表示タイミングに撮影した複数の第１画面を取り出すことと、
    前記第１画面を前記第２画像に統合することと、を含む請求項１１に記載の画像生成方法。
13. 前記工程（ｂ１）は、画面撮影周波数で前記撮影画像を撮影し、かつ前記画面撮影周波数が前記交互に表示する周波数の整数倍である請求項１２に記載の画像生成方法。
14. 前記工程（ａ）と前記工程（ｂ１）の実行タイミングを同期させることを更に含む請求項１２に記載の画像生成方法。
15. 前記工程（ａ）と前記工程（ｂ１）の実行タイミングを同期させることは、有線又は無線データ伝送通信プロトコルにより行われる請求項１４に記載の画像生成方法。
16. 前記工程（ａ）と前記工程（ｂ１）の実行タイミングを同期させることは、デジタル光処理（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ，ＤＬＰ ＬＩＮＫ）プロトコル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ，ＲＦ）、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）又は赤外線（Ｉｎｆｒａｒｅｄ，ＩＲ）により行われる請求項１４に記載の画像生成方法。
17. 前記撮影画像に複数の撮影画面を含み、前記工程（ｂ２）は、
    前記撮影画面から、前記単色画像を背景とする複数の単色背景付き画面を選択することと、
    前記単色背景付き画面を統合して、前記第２画像を生成することと、を含む請求項１１に記載の画像生成方法。
18. 前記工程（ａ）は、
    前記単色画像に所定標記を表示することを含み、
    前記撮影画像に複数の撮影画面を含み、工程（ｂ２）は、
    前記撮影画面から、前記所定標記を有する複数の標記付き画面を選択することと、
    前記標記付き画面を統合して、前記第２画像を生成することと、を含む請求項１１に記載の画像生成方法。
19. 前記工程（ａ）において、前記単色画像における１つの所定領域に前記所定標記を表示し、
    前記工程（ｂ２）は、
    前記撮影画面から、その前記所定領域に前記所定標記を有する複数の標記付き画面を選択することを含む請求項１８に記載の画像生成方法。

Images