JP2015501560A

JP2015501560A - ステレオ映像に基づく映像処理システム

Info

Publication number: JP2015501560A
Application number: JP2014533221A
Authority: JP
Inventors: ▲ムン▼基李
Original assignee: ▲ムン▼基李
Priority date: 2011-09-30
Filing date: 2012-09-29
Publication date: 2015-01-15
Anticipated expiration: 2032-09-29
Also published as: CN103828357A; JP5905585B2; US20140232829A1; KR101371831B1; US9648301B2; KR20130035984A; CN103828357B; WO2013048221A2; WO2013048221A3

Abstract

ステレオ映像のうち１映像にマークを含み、カメラでマークが含まれた映像だけ撮影し、容易にマークを検出し、ポインティング作業や拡張現実映像を合成することができる映像処理システムである。

Description

本発明は、３Ｄディスプレイに出力されるステレオ映像のうち１映像を、選択的にカメラで撮影し、その映像から映像処理手段としてマークを検出し、検出されたマーク情報をポインティング作業や拡張現実作業に利用する映像処理システムに関する。

本発明の発明人が以前に出願した特許文献１のカメラとマーク出力とによるポインティング装置は、画面に出力されたマウスカーソルアイコンをカメラで撮影し、検出するポインティングデバイスである。該技術では、画面に出力されたマウスカーソルアイコンや、その他パターンのマークを撮影した映像を、映像処理手段で分析してマークを認識し、ポインティング作業を行うものである。該技術は、背景イメージとマークとの色が類似していたり、あるいは背景イメージに、マークと類似した形状があれば、マークを映像処理手段として検出し難いというという短所がある。

本発明の発明人が以前に出願した特許文献２のモニタに基づく拡張現実システムは、画面に表示されたマウスカーソルアイコンやマークを撮影した映像で、映像処理手段としてのマウスカーソルアイコンやマークを認識して撮影したカメラと、マウスカーソルアイコンやマークとの三次元相対位置を算出し、撮影された映像に、グラフィック客体を、遠近感があるように合成する拡張現実映像合成システムに関する。該技術も、前記ポインティング技術と同様に、マークが、背景イメージと、色や形態が類似していれば、マークを検出し難いという短所がある。

韓国登録特許１０‐０９３６８１６号公報韓国特許出願１０‐２０１１‐００５０９８０

本発明は、ポインティング装置と、拡張現実装置に使用することができる３Ｄディスプレイとを使用した映像処理システムを提供することである。

本発明は、撮影された映像における背景イメージから、マウスカーソルアイコンやその他パターンのマークを、映像処理手段として、迅速に容易に安定して検出するために、背景イメージとマークイメージとを、それぞれステレオ映像の左目に見える映像と、右目に見える映像とに、３Ｄディスプレイに出力し、カメラは、３Ｄディスプレイに出力される前記ステレオ映像のうち、マークが含まれた映像のみ撮影して映像処理手段として分析することにより、マーク検出を容易にする。

本発明によるステレオ映像に基づく映像処理システムを使用すれば、背景イメージの色や形態がマークと類似していても、撮影されたイメージから、マークを迅速かつ容易に安定して検出することができる。

本発明の構成を示す図面である。

三次元（３Ｄ）ディスプレイには、シャッタめがね方式、偏光めがね方式、アクティブリターダ方式、赤青めがね方式などがある。それらについてのそれぞれの説明は、次の通りである。

[実施形態１]
シャッタめがね（shutter glasses）方式は、左目に見える映像及び右目に見える映像を、それぞれ順次に交互に画面に迅速に出力する方式である。かようなディスプレイに出力されるステレオ映像の毎フレームの出力時間に同期化されたシャッタめがねの左側及び右側のシャッタが、交互に開閉され、シャッタめがねを着用したユーザは、左目及び右目で、それぞれ左側及び右側の映像を見る。かような３Ｄディスプレイとシャッタめがねは、三星電子（株）の３ＤＴＶ（television）として商品化されて市販されている。かような３Ｄディスプレイは、ＬＣＤ（liquid crystal display）ディスプレイ形態にもなり、ビームプロジェクタ形態にもなる。

本実施形態では、かようなシャッタめがね式３Ｄディスプレイの背景イメージとマークイメージとを、それぞれ左目に見える映像と、右目に見える映像とに出力し、カメラの前には、マークが含まれた右目に見える映像が出力される瞬間にのみ開かれるシャッタを同期させて撮影すれば、黒背景にマークのみが撮影される。この映像を映像処理手段によって分析してマークを検出することができ、検出されたマークとカメラとの相対位置を利用して、ポインティング作業や、拡張現実映像の合成を行うことができる。

映像処理手段は、マーク位置を調整し、第１カメラ視線（line of sight）側に移動させ、第１カメラが撮影した映像の中心に配置させることが望ましい。かようにして、第１カメラが動いても、安定してマークを検出することができる。また、映像処理手段は、マークサイズを検出し、カメラとマークとの距離に比例するように、マークサイズを調整し、第１カメラが撮影した映像のマークサイズが一定サイズであることが望ましい。すなわち、第１カメラがマークに接近すれば、マークを縮小調整し、第１カメラがマークから遠ざかれば、マークを拡大調整することが望ましい。

背景イメージとマークイメージとを、それぞれ左目に見える映像と、右目に見える映像とに出力する代わりに、第１背景イメージ、第２背景イメージそして第３イメージとしてマークイメージを、それぞれ左目に見える映像と、右目に見える映像、及びポインティングや拡張現実に使用される映像に出力し、映像処理手段は、マークイメージのみ検出し、ポインティングや拡張現実映像を合成することもできる。そのとき、第１背景イメージと第２背景イメージとを、シャッタ方式のステレオ映像にし、ユーザは、シャッタめがねを着用すれば、第３イメージを見ながら、ポインティング作業や拡張現実映像を見ることができる。

[実施形態２]
偏光めがね方式の３Ｄディスプレイは、ディスプレイ画面を、細い水平線帯領域に分割し、奇数番目と偶数番目とで異なる偏光コーティングを有する。左目に見える映像は、偶数番目の帯領域に出力し、右目に見える映像は、奇数番目の帯領域に出力する。ここで、偶数番目の帯領域と、奇数番目の帯領域との前には、それぞれ互いに異なる方向の位相遅延フィルムが付着されており、奇数番目の帯領域の映像と、偶数番目の帯領域の映像とが、互いに反対方向の円偏光にする。これを、パターンドリターダ（patterned retarder）方式という。そして、その円偏光方向とそれぞれ同じ方向の円偏光フィルムが、左側及び右側のレンズの前に付着された偏光めがねを着用したユーザは、左目及び右目で、それぞれ左側及び右側の映像を見ることができる。かような偏光めがね式３Ｄディスプレイは、ＬＣＤディスプレイ形態にもなり、ビームプロジェクタ形態にもなる。ビームプロジェクタである場合は、２つのビームプロジェクタに、それぞれ左目及び右目に見える映像を、互いに異なる偏光で、同じタイミングで１つのスクリーンに、互いに重なるように投射すればよい。ここで、スクリーンは、偏光を維持したまま、反射することができるシルバースクリーンを使用するのが望ましい。

かような偏光めがね式３Ｄディスプレイに、背景イメージとマークイメージとを、それぞれ左目に見える映像と、右目に見える映像とに出力し、カメラの前には、マークが含まれた右目に見える映像を通過させ、左目に見える映像を遮断する偏光フィルムを付着させて撮影すれば、黒背景に、マークだけ撮影される。この映像を映像処理手段によって分析し、マークを検出することができ、検出されたマークとカメラとの相対位置を利用して、ポインティング作業や拡張現実映像を合成することができる。

[実施形態３]
前記シャッタめがね方式と偏光めがね方式との長所だけを選択した技術として、アクティブリターダ（active retarder）方式の３Ｄディスプレイがある。アクティブリターダ方式の３Ｄディスプレイは、既存のシャッタめがねの代わりに、偏光めがねを使用し、シャッタめがねにバッテリを充電させる不都合を解消することができる構成である。また、既存のパターンドリターダ方式のディスプレイの解像度低下の問題を解決することができる方式である。アクティブリターダ方式のディスプレイは、シャッタめがね式ディスプレイのように、順次に左目及び右目に見える映像を交互に出力するが、ディスプレイの前には、電気的に円偏光方向を変えることができる位相遅延板（retarder）を設け、左目に見える映像と、右目に見える映像との円偏光方向を互いに異なるようにする。ユーザは、偏光めがねを着用し、左側及び右側の映像をそれぞれの目で見ることができる。

かような偏光めがね式３Ｄディスプレイは、ＬＣＤディスプレイ形態にもなり、ビームプロジェクタ形態にもなる。ビームプロジェクタである場合は、１つのビームプロジェクタに、それぞれ左目及び右目に見える映像を、交互に互いに異なる偏光で、１つのスクリーンに投射すればよい。ここで、スクリーンは、偏光を維持したまま反射することができるシルバースクリーンを使用するのが望ましい。

かような偏光アクティブリターダ方式の３Ｄディスプレイに、背景イメージとマークイメージとを、それぞれ左目に見える映像と、右目に見える映像とに出力し、カメラの前には、マークが含まれた右目に見える映像を通過させ、左目に見える映像を遮断する偏光フィルムを付着させて撮影すれば、黒背景に、マークだけ撮影される。この映像を映像処理手段によって分析し、マークを検出することができ、検出されたマークとカメラとの相対位置を利用して、ポインティング作業や拡張現実映像を合成することができる。

[実施形態４]
赤青めがね方式の３Ｄディスプレイは、左目及び右目に見える映像を、それぞれ赤色と青色とに出力する方式であり、ユーザは、左側及び右側に、それぞれ赤色フィルタと青色フィルタとが付着されためがねを着用して立体映像を見ることができる。

かような赤青めがね式３Ｄディスプレイの背景イメージとマークイメージとを、それぞれ左目に見える映像と、右目に見える映像とに出力し、カメラの前には、マークが含まれた右目に見える映像を通過させ、左目に見える映像を遮断するフィルム（赤色フィルタまたは青色フィルタ）を付着させて撮影すれば、黒背景に、マークのみ赤色または青色に撮影される。この映像を、映像処理手段によって分析してマークを検出することができ、検出されたマークとカメラとの相対位置を利用して、ポインティング作業や拡張現実映像を合成することができる。赤青めがね方式と類似したドルビーめがね方式もある。ドルビー方式の３Ｄディスプレイは、左側及び右側の映像を、それぞれ少しずつ異なる３原色に出力し、その色だけ通過させるフィルタを、めがねの左目及び右目に付着させる方式である。赤青めがね方式との差異は、赤青めがね方式は、左目及び右目にそれぞれ赤色映像と青色映像とが見えるが、ドルビー方式は、左目及び右目にカラー映像が見えるという点である。

[実施形態５]
前記実施形態１〜４の構成に、図１のように、第２カメラを追加し、拡張現実システムを構成することができる。すなわち、前記実施形態１〜４で使用されたカメラ（第１カメラ）に、マークが含まれた映像だけ撮影することができるように、シャッタやフィルタを付着させてマークだけを撮影し、映像処理手段で、第１カメラとマークとの相対位置を算出することができる。そして、新たに追加される第２カメラには、マークが含まれていない背景映像だけ撮影することができるように、シャッタやフィルタを付着させ、マークが含まれていない背景映像だけ撮影し、その映像に、前記映像処理手段で算出したカメラとマークとの相対位置情報を利用して、グラフィック客体を遠近感があるように合成することができる。かように合成された映像には、マークがなく、一層自然であるという長所がある。第１カメラと第２カメラは、相対位置を固定させ、あらかじめその相対位置を測定してグラフィック客体を合成するのに使用することが望ましい。かような第１カメラと第２カメラは、スマートフォンに含めることも可能であり、ヘッドマウント・ディスプレイ（ＨＭＤ）に含めることも可能である。特に、ヘッドマウント・ディスプレイに含める場合、ヘッドマウント・ディスプレイを、めがねのように着用した人の視線方向を撮影するように、カメラを設置することが望ましい。かようなヘッドマウント・ディスプレイは、ＷＲＡＰ９２０ＡＲ＋という製品として市販されている（http://www.vuzix.com/consumer/products_wrap920ar.html）。かようなヘッドマウント・ディスプレイの両目の前に設置されたステレオカメラのうち１台のカメラは、マークだけを撮影し、カメラとマークとの三次元相対位置を、映像処理手段によって算出し、残りのカメラは、マークが含まれていない背景イメージを撮影し、グラフィック客体を遠近感があるように合成し、その合成された映像をヘッドマウント・ディスプレイに出力することができる。

[実施形態６]
前記実施形態１〜４の構成で、カメラをリモコンや拳銃のように握って画面を撮影してポインティング作業を行うユーザが、マークが含まれていない映像だけ通過させるシャッタやフィルタが、左目及び右目の前にいずれも付着されためがねを着用することにより、３Ｄディスプレイに出力される映像でのマークが見えないようにすることができる。例えば、カメラを銃形態にして、ポインティング作業を行いながら、射撃ゲームを行う場合、３Ｄディスプレイに、射撃ゲーム映像が出力される場合、マークは、ポインティング作業を行うためには、カメラに撮影されなければならないが、人には見えないことが望ましいので、ユーザは、マークが含まれた映像を遮断し、マークが含まれない背景映像（ゲーム映像）を通過させるフィルタやシャッタめがねを着用することが望ましい。

[実施形態７]
前記実施形態５で説明したビデオ方式（video-through）の拡張現実用ヘッドマウント・ディスプレイの代わりに、透明なめがね方式の拡張現実用ヘッドマウント・ディスプレイ（see-thru augmented reality display）を使用することもできる。その場合、前記実施形態５の第２カメラは省略されもする。かような透明なめがね方式の拡張現実用ヘッドマウント・ディスプレイは、ＳＴＡＲ１２００という製品が市販されている（http://www.vuzix.com/ar/products_star1200.html）。この製品には、視線方向を撮影するカメラが付着されためがねを着用すれば、カメラが撮影した映像からマークを検出し、カメラとマークとの相対位置を算出し、グラフィック客体を遠近感があるように生成し、そのグラフィック客体を、めがね形態の透明なディスプレイに投射し、空中にその客体が浮かんでいるように見せる。かような透明なディスプレイの前または後に、前記実施形態６のマークが含まれていない映像のみ通過させるシャッタやフィルタを付着させることができる。それにより、ユーザは、マークがない背景映像の上に、遠近感があるようにグラフィック客体が表示されるところを見ることができる。

Claims

映像処理システムにおいて、
特定映像にのみマークを出力するディスプレイを含むディスプレイ部と、
前記特定映像だけ撮影する第１カメラを含むカメラ部と、
前記第１カメラで撮影した映像を分析してマークを検出する映像処理部と、
を含むことを特徴とするステレオ映像に基づく映像処理システム。
該映像処理部は、マークを検出してポインティング信号を出力する、または透明ディスプレイ方式の拡張現実映像を生成することを特徴とする請求項１に記載のステレオ映像に基づく映像処理システム。
該カメラ部は、マークが含まれていない映像だけ撮影する第２カメラをさらに含み、
該映像処理部は、第１カメラで撮影した映像を分析して検出したマーク情報を利用して、前記第２カメラで撮影した映像に、拡張現実映像を合成することを特徴とする請求項１に記載のステレオ映像に基づく映像処理システム。
該映像処理部は、検出されたマーク位置を第１カメラ視線方向に移動させ、第１カメラに撮影されたイメージで、マークをイメージ中央の一定領域内に位置させることを特徴とする請求項２または３に記載のステレオ映像に基づく映像処理システム。
該映像処理部は、検出されたマークの大きさを、カメラとマークとの距離に比例するように調整し、第１カメラで撮影した映像で、マークサイズを一定範囲内にあらしめることを特徴とする請求項２または３に記載のステレオ映像に基づく映像処理システム。
マークを含む映像と、マークを含まない映像は、互いに異なる瞬間に出力され、
該第１カメラは、マークが含まれた映像が出力される瞬間にのみ撮影するシャッタ手段を含むことを特徴とする請求項１に記載のステレオ映像に基づく映像処理システム。
マークを含む映像と、マークを含まない映像は、互いに異なる偏光に出力され、
該第１カメラは、マークが含まれた映像の偏光と同一の偏光の映像だけ撮影するフィルタ手段を含むことを特徴とする請求項１に記載のステレオ映像に基づく映像処理システム。
マークを含む映像と、マークを含まない映像は、互いに異なる色に出力され、
該第１カメラは、マークが含まれた映像の色と同一の色の映像のみ撮影することを特徴とする請求項１に記載のステレオ映像に基づく映像処理システム。
マークを含む映像と、マークを含まない映像は、互いに異なる色に出力され、
該第１カメラは、マークが含まれた映像をカラーで撮影するカラーカメラであり、
該映像処理部は、前記カラーカメラで撮影した映像で、マークを含んだ映像の色成分のみを分析し、マークを検出することを特徴とする請求項１に記載のステレオ映像に基づく映像処理システム。
特定映像だけでマークを出力する段階と、
前記特定映像だけ撮影する段階と、
前記撮影された映像を分析し、マークを検出する段階と、
を含むことを特徴とするステレオ映像に基づく映像処理方法。
特定映像だけでマークを出力する段階と、
前記特定映像だけ撮影する段階と、
前記撮影された映像を分析し、マークを検出する段階と、
を含むことを特徴とするステレオ映像に基づく映像処理方法を実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。