JP2016500837A

JP2016500837A - 偏光差分カメラを利用した映像処理システム

Info

Publication number: JP2016500837A
Application number: JP2015535573A
Authority: JP
Inventors: ムンキイ，
Original assignee: ムンキイ，
Priority date: 2012-10-11
Filing date: 2013-10-10
Publication date: 2016-01-14
Anticipated expiration: 2033-10-10
Also published as: US9778755B2; US20150286289A1; KR101617068B1; KR20140046997A; JP6258337B2; CN104769486A; CN104769486B; WO2014058234A1

Abstract

【課題】偏光映像に含まれたマークを迅速であって安定して認識するための映像処理システムを提供することを目的にする。【解決手段】本発明による偏光差分カメラを利用した映像処理システムは、互いに異なる種類の映像を、同時に１画面に互いに異なる偏光で出力させ、カメラで２種の映像を異なる偏光で撮影し、撮影された２種の映像を比較し、マークを安定して迅速に検出することができる。検出されたマークは、ポインティング作業や増強現実技術に活用される。また、ロボットが周辺環境を認識するのに活用されもする。【選択図】図１

Description

本発明は、偏光マークを含む映像を第１偏光で撮影した以前フレーム映像と、第２偏光で撮影したその次フレーム映像との差分イメージにおいて、ピクセル値が０ではないピクセルを調べ、偏光マークを迅速であって容易に検出する映像処理システムに関する。

マーク認識、ポインティング、マウス、増強現実、偏光、カメラ、差分イメージ、映像処理の分野において、最近では、カメラを利用して、コンピュータ画面のマウスカーソルアイコンを撮影して認識し、ポインティング作業を行うことができる技術が開発されている。

本発明は、コンピュータ画面の複雑な背景内にあるマウスカーソルアイコンを、迅速に安定して認識するシステムを提供することを目的にする。

また、本発明は、カメラがコンピュータ画面ではない周辺環境を撮影する間には、周辺事物、をマウスカーソルアイコンで誤って認識する問題を解決することを目的にする。

本発明による偏光差分カメラを利用した映像処理システムは、互いに異なる種類の映像を、同時に１画面に互いに異なる偏光で出力させ、カメラで２種の映像を異なる偏光で撮影し、撮影された２種の映像を比較し、マークを安定して迅速に検出するシステムを提供することを特徴とする。

本発明による偏光差分カメラを利用した映像処理システムは、互いに異なる種類の映像を、同時に１画面に互いに異なる偏光で出力させ、カメラで２種の映像を異なる偏光で撮影し、撮影された２種の映像を比較し、マークを安定して迅速に検出するシステムを提供することを特徴とする。本発明による偏光差分カメラを利用した映像処理システムを利用し、迅速であって安定して検出されたマークは、ポインティング作業や増強現実技術に活用される。また、ロボットが周辺環境を認識するのに活用されもする。

本発明による偏光差分カメラを利用した映像処理システムは、２映像を差分してピクセル値を調べ、マークが存在する可能性が高い領域を求め、その領域でマークを検出する。もしカメラがコンピュータ画面ではない周辺事物を撮影するならば、差分映像において、マークが存在する可能性の高い領域が示されず、それ以上マークを検出する試みを行わない。従って、ＣＰＵの占有率を低くすることができ、電力消耗量も減らすことができる。しかし、そのような本発明による差分方式を使用しないのであるならば、常時マークが存在すると仮定し、マークを検出しようと試みるので、ＣＰＵ占有率が高くなり、電力消耗が多くなり、認識速度も遅くなる。

第１実施形態の構成図である。可変偏光カメラの構成図である。可変位相遅延フィルムの断面図である。マークイメージと普通イメージとを示す図面である。

実施形態１
最近、カメラを利用して、コンピュータ画面のマウスカーソルアイコンを撮影して認識し、ポインティング作業を行うことができる技術が開発された。例えば、本発明の発明者の特許技術である韓国特許１０−０９３６８１６号「カメラとマーク出力とによるポインティング装置」がある。前記ポインティング技術は、ディスプレイに、奇数番目のフレームには、マーク映像を出力し、偶数番目のフレームには、正常映像を出力し、映像処理部は、奇数番目のフレームを撮影したイメージでマークを認識し、ポインティング座標を算出する技術を含む。

そのようなマークが、図１のように、マウスカーソルアイコンＩＣＣであり、画面中心において、その周辺に十分な余白があるならば、マウスカーソルアイコンＩＣＣを検出しやすい。しかし、もしマウスカーソルアイコンＩＣＥが、ディスプレイの画面ＤＳの境界線に接する場合、画面外の事物のパターンＰＴとマークとが類似している場合、映像処理プログラムは、マウスカーソルアイコンを背景から区別し難くなる。また、カメラとして、広角レンズカメラを使用したり、あるいはカメラとディスプレイとの距離が遠かったりすれば、撮影された映像に、ディスプレイ周辺の事物も撮影され、その事物とマウスカーソルアイコンとを区別し難くなる。

本発明は、そのような問題を解決するために、偏光方式の３Ｄディスプレイ（または、ビームプロジェクタ）に、マーク映像を第１偏光で出力させ、それと同時に、普通映像を第２偏光で出力させ、その画面をカメラで撮影するが、第１偏光で撮影した後、第２偏光で撮影し、撮影された２映像を差分し、マークを安定して迅速に検出するシステムを提供することを特徴とする。第１偏光と第２偏光は、それぞれ右回転円偏向と、左回転円偏向とである。

カメラレンズの前に、図２のように、偏光フィルムＰＬと、電気的に調整することができる可変位相遅延フィルタＰＲとを付着させ、前記偏光マークを撮影する場合、可変位相遅延フィルタＰＲを電気的に調整すれば、透過される偏光の種類を選択することができる。可変位相遅延フィルタ、は商品化されて販売されている。例えば、http://www.arcoptix.ch/variable_phase_retarder.htmというウェブサイトには、印加する電圧を調整し、遅延される位相値を調整する可変位相遅延子（variable phase retarder）を紹介している。その可変位相遅延子は、図３のように、液晶Ｌを一定方向に整列させる配向膜と、透明電極がコーティングされた２枚のガラス板Ｇとの間に液晶Ｌを充填させた後で電圧を加え、液晶の方向を調整することにより、位相遅延値を変化させる構成である。そのような装置は、電圧を加えていない状態では、図３のように液晶が２枚のガラス板に平行に配列されており、最大位相遅延機能を行い、電圧を加えるほど、液晶が２枚のガラス板に垂直である方向に整列されることにより、徐々に位相遅延値が減少する。そのような可変位相遅延フィルタを使用すれば、可変位相遅延フィルタに印加する電圧を調節することにより、線偏向を円偏向に変えることができ、偏光の方向も変えることもできる。従って、ユーザは、カメラに設置された電圧調節手段を調整し、所望の偏光を撮影することができる。

そのような可変偏光フィルタ（可変位相遅延フィルム及び偏光フィルム）に、第１電気信号を印加し、第１偏光でマーク映像を撮影し、次の瞬間に第２電気信号を印加し、第２偏光で普通映像を撮影した２映像の差分映像を求めれば、図１のディスプレイ外の一般事物ＰＴは、２映像にいずれも撮影され、差分値が０になる。ここで、差分映像（difference image）は、２つのイメージで対応するピクセルの差値をピクセル値にする映像を意味する。例えば、差分映像の（ｘ，ｙ）のピクセル値は、２映像の（ｘ，ｙ）のピクセル値の差である。しかし、ディスプレイ内部領域は、２映像にそれぞれ異なるように撮影され、差分値が０ではなくなる。マーク領域を、差分でもって検出しやすいように、ディスプレイに出力する普通イメージＯＩで、マークイメージのマーク領域ＭＫに対応する領域を暗く調整することが望ましい。ここで、対応する領域とは、２つのイメージを重ねておいたとき、対応する領域も重なるということを意味する。例えば、図４のように、普通イメージのマーク領域ＭＫを暗く明るさを調整すれば、マーク領域の差分値は、正数になる。差分順序を、図４のように、マーク映像ＭＩから普通映像ＯＩを抜き取るように設定すれば、マークイメージのマーク周辺は、黒色余白であるので、ピクセル値が０、または非常に小さい値であり、普通映像は、ピクセル値が０または正数であるので、マーク領域を除いたその周辺余白では、差分値が０または負数になる。従って、差分映像において、差分値が正数である領域が、マークが存在する可能性の高い領域になり、マークを撮影した第１偏光映像において、前記マークが存在する可能性が高い領域を調べれば、マークを容易かつ迅速に検出することができる。本発明では、そのように、普通映像のマーク部分を暗く調整した普通映像と、マーク映像との差分映像を求めることを一次差分という。

カメラが停止した状態であるならば、差分イメージにおいて、マーク領域だけ差分値が正数であり、残りの領域は、負数または０になる。しかし、カメラが動いた場合には、マークとディスプレイ周辺事物との境界線でも、差分値が正数になる。その場合、差分値が正数である領域のうち、事物の境界線に該当する領域を除去すれば、マーク領域だけ求めることができる。本発明では、そのように、一次差分映像から、事物の境界線に該当する領域を除去することを二次差分という。普通イメージを撮影した映像から事物の境界線を求めれば、ディスプレイ内の普通映像の事物境界線も求められるために、事物の境界線領域を求めるには、マークイメージを撮影した映像を利用することが望ましい。

それを整理すれば、次の通りである。
（段階１）ディスプレイに、第１偏光で出力されたマーク映像を撮影する。
（段階２）ディスプレイに、第２偏光で出力されたマーク領域の明るさを暗く調整した普通映像を撮影する。
（段階３）前述の段階１，２で撮影された２映像の差分映像（一次差分）から、ピクセル値が正数である領域を検出する。
（段階４）段階１で撮影したマーク映像において、事物の境界線領域を求める。
（段階５）段階３で求めた差分ピクセル値が正数である領域から、段階４で求めた事物の境界線領域を除いた残りの領域を求め（二次差分）、その領域を調べてマークを検出する。

段階５において、事物の境界線領域を除く場合、境界線近辺の適当な領域まで除去することが望ましい。その近辺の範囲は、カメラが迅速に動くほど、大きくすることが望ましい。

段階４において、事物の境界線を求める方法は、例えば、キャニーエッジ検出器（Canny edge detector）を使用することができる。しかし、該方法は、臨界値値をいかに与えるかということにより、検出される境界線が異なるという問題があり、カメラが動く速度と、検出される境界線の太さとが無関係であるという問題がある。本発明では、キャニーエッジ検出器で検出した境界線映像の代わりに、以下表１のような差分による境界線イメージを使用することが望ましい。

撮影順序は、次の通りである。

現在時刻がｔであるならば、以前瞬間（ｔ−２）に撮影したマークイメージ０と、現在瞬間ｔに撮影したマークイメージ２との差分イメージ（それを、本発明では、差分による境界線イメージとする）を境界線映像に使用することが望ましい。

該方式を使用すれば、カメラの動きが多ければ、検出される境界線領域も太くなる。すなわち、一次差分映像のピクセル値が正数である領域の太さと、差分による境界線イメージのピクセル値が正数である領域の太さとが互いにほぼ同じになるので、段階５で求めた二次差分イメージがさらにきれいになるという長所がある。もし段階４において、キャニーエッジ検出器で境界線イメージを求め、段階５でそれを使用すれば、キャニーエッジ検出器で求めた境界線の太さは、カメラの動きと係わりなく常時一定であるが、一次差分映像での境界線の太さは、カメラの動きによって変わるので（カメラが迅速に動くほど太くなる）、二次差分映像において、境界線が十分にかき消されない。

そのように検出されたマークやマウスカーソルアイコンは、ポインティング作業に利用される。すなわち、カメラが撮影した映像から検出したマウスカーソルアイコンが、カメラの視線方向に移動するように、ポインティング信号を生成することができる。

ポインティング作業をしばらく中断する場合、カメラを机の上において、他のことを行うことができる。その場合、カメラは、ディスプレイではない周辺環境を撮影する。その場合、従来の技術である特許１０−０９３６８１６号「カメラとマーク出力とによるポインティング装置」の技術でポインティング作業を行うならば、周辺環境に、マウスカーソルアイコンと類似したパターンがあるならば、それを映像処理プログラムが誤って認識し、誤ったポインティング信号が発生してしまう。しかし、本発明による差分方式を使用すれば、一次差分映像において、すべてのピクセル値が０であるので、マークが存在しないということが容易に分かり、次の段階で進行しない。すなわち、プログラムは、マークが存在しないということが容易かつ迅速に分かり、それ以上マークを検出するための段階（例えば、二次差分を求める段階）を経ず、ＣＰＵを占有しなくなるので、電力消耗を減らすことができる。

また、カメラとディスプレイとの距離が遠ければ、撮影されたイメージにおいて、マウスカーソルアイコンが小さくなり、映像処理プログラムは、その形態を分析し難い。しかし、本発明によるポインティング装置は、二次差分イメージのピクセル値が正数である地点だけ検出すればよいので、マークの形態を見分けることができないとしても、認識が可能である。すなわち、従来の技術より遠い距離でも、安定してマークを検出することができる。

現在、ホームショッピングプログラム映像の一部領域に、ＱＲコード（登録商標）を出力して放送している。そのようなＱＲコード映像と、一般放送映像とをそれぞれ互いに異なる偏光による偏光方式の３Ｄディスプレイに同時に出力し、本実施形態の方法により、ＱＲコードを手軽に迅速に検出することができる。

マウスカーソルアイコンの代わりに、ディスプレイの四角形の４頂点にマークを出力し、それを本実施形態の方法で検出し、カメラとディスプレイとの三次元相対位置と方向とを検出し、増強現実映像を生成することもできる。

実施形態２
本実施形態２は、前記実施形態１の変形例である。前記実施形態１は、黒色空白イメージ（空白イメージは、全てのピクセル値が同一であるイメージを意味する）に、マークイメージを合成したイメージを、第１偏光でディスプレイに出力し、普通イメージの対応するマークイメージ部分を暗く調整した普通イメージを、第２偏光でディスプレイに出力した映像をそれぞれ撮影して差分する方式である。

それに比べ、本実施形態２は、マークの第１カラー成分イメージ（例えば、赤成分イメージ）を、普通映像の前記第１カラーの補色カラー（例えば、シアン）成分映像に合成したイメージを、第１偏光で出力し、マークの第１カラーの補色成分映像を、普通映像の第１カラー成分映像に合成した映像を、第２偏光で出力する方式である。ここで、与えられたカラーイメージの第１カラー成分イメージ（例えば、赤成分イメージ）とは、各ピクセルの赤色成分、青色成分、緑色成分のうち、第１カラー成分値（例えば、赤成分値）を除いた残りの成分値を０に変えたイメージを意味する。そのような２映像が同時に画面に出力されれば、ユーザは、マークと普通イメージとをフルカラーとして見る。そのように出力された２映像を、前記実施形態１のように、可変偏光フィルタを付着させたカメラを使用し、それぞれ第１偏光と第２偏光とで撮影して得た２つのカラーイメージで、第１カラー成分だけ選択すれば、図４のように、第１偏光映像ＭＩでは、マーク部分だけ明るく表示され、その周辺のディスプレイ領域は、暗く表示される。そして、第２偏光映像ＯＩでは、マーク部分だけ暗く、その周辺ディスプレイ領域では、明るく表示される。そのような２つの第１カラー成分映像に対して、一次差分映像を求めれば（すなわち、第１偏光映像の第１カラー成分映像ＭＩにおいて、第２偏光映像の第１カラー成分映像ＯＩを差分するならば）、差分映像でのマーク部分は、差分値が正数になり、その周辺ディスプレイ領域は、負数または０になる。もしカメラが動いた状態であるならば、ディスプレイ外の領域でも、物体の境界線部分、において、差分値が正数にもなる。その場合には、前記実施形態１のように、二次差分で事物の境界線領域を求め、その部分だけ一次差分映像から除けば、マーク部分だけ正数になる。従って、一次差分過程、二次差分過程を介して求めた最終差分イメージにおいて、正数であるピクセルの領域を調べれば、マークを容易に検出することができる。

実施形態３
偏光方式の３Ｄディスプレイに、ＱＲコードを出力することもできるが、透明偏光フィルムに孔をあけ、偏光ＱＲコードを作って壁に付着させ、カメラでそれを撮影し、前記実施形態１の方法で認識し、ＱＲコードの情報を得ることができる。例えば、ＱＲコードの白領域に対応する透明偏光フィルムの領域に孔をあけ、透明な偏光フィルムＱＲコードを作ることができる。そのような透明偏光フィルムＱＲコードは、白壁面に付着させることができる。第１偏光で、前記透明偏光ＱＲコードを撮影すれば、偏光フィルム部分が黒く撮影され、て孔部分は白に撮影される。そして、第２偏光で撮影すれば、偏光フィルム部分及び孔部分いずれも白に撮影される。そのような２映像を差分し、偏光フィルム部分だけ検出することができる。そのような偏光ＱＲコードは、既存の白紙に黒色で印刷したＱＲコードが目障りになるという問題を解決することができる。

そのようなＱＲコードに、該ＱＲコードが付着された地点の緯度及び緯度、または室内位置情報を含め、ロボット（例えば、掃除ロボット）が本発明の技術を利用して認識し、自律走行を行うことも可能である。

実施形態４
前記実施形態１ないし３のカメラは、第１偏光映像を撮影した後、第２偏光映像を撮影する方式である。それとは異なり、イメージセンサの偶数番目のピクセルには、第１偏光フィルタを付着させ、奇数番目のピクセルには、第２偏光フィルタを付着させ、同時に第１偏光映像と第２偏光映像とを撮影することもできる。そのようなイメージセンサを、偏光イメージセンサという。それは、まるで各ピクセルごとに三原色に対応するカラーフィルタを付着させたカラーイメージセンサと類似した構造である。カラーイメージセンサで撮影したカラーイメージを、三原色成分に分離することができるように、偏光イメージセンサで撮影した映像において、第１偏光映像と第２偏光映像とを分離し、差分イメージを求めることができる。

Claims

映像処理システムにおいて
第１偏光映像と第２偏光映像とを含む偏光映像と、
前記偏光映像を、第１偏光映像と第２偏光映像とに分離して撮影するカメラと、
前記カメラで撮影した第１偏光映像と第２偏光映像との差分映像を出力する映像処理手段と
を含むことを特徴とする、偏光差分カメラを利用した映像処理システム。
前記第１偏光映像と前記第２偏光映像は、偏光方式３Ｄディスプレイに出力されるステレオ映像であることを特徴とする、請求項１に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光映像は、透明偏光フィルムの第１偏光領域映像であり、
前記第２偏光映像は、前記透明偏光フィルムの第２偏光領域映像であることを特徴とする、請求項１に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光領域は、透明偏光フィルム領域であり、前記第２偏光領域は、前記透明偏光フィルムに形成された孔の領域であることを特徴とする請求項３に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光領域は、透明偏光フィルム領域であり、前記第２偏光領域は、前記透明偏光フィルムに、位相遅延フィルムが付着された領域であることを特徴とする、請求項３に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光領域または前記第２偏光領域は、情報を示すコード、文字、パターンまたは増強現実用マークであることを特徴とする、請求項４または５に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光映像は、マーク映像であり、前記第２偏光映像は、普通映像であり、前記映像処理手段は、２映像の差分イメージを調べ、そのピクセル値が０ではない領域でマークを検出することを特徴とする、請求項２に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光映像は、普通映像の第１カラーの補色カラー成分映像に、マーク映像の第１カラー成分映像を合成した映像であり、
前記第２偏光映像は、普通映像の第１カラー成分映像に、マークの第１カラーの補色カラー成分映像を合成した映像であり、
前記映像処理手段は、２映像の第１カラー成分映像の差分映像を調べ、そのピクセル値が０ではない領域で、マークを検出することを特徴とする、請求項２に記載の偏光差分カメラを利用した映像処理システム。
前記映像処理手段は、差分映像のピクセル値が０ではない領域から、事物の境界線領域を除いた領域において、マークを検出することを特徴とする、請求項７または８に記載の偏光差分カメラを利用した映像処理システム。
前記普通映像は、マーク領域に対応する領域の明るさを暗く調整した映像であることを特徴とする、請求項７に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光映像は、マウスカーソルアイコン映像であり、
前記映像処理手段は、２映像の差分イメージを調べ、そのピクセル値が０ではない領域において、マウスカーソルアイコンを検出し、ポインティング信号を出力することを特徴とする、請求項７または８に記載の偏光差分カメラを利用した映像処理システム。
前記第１偏光映像は、増強現実用マーク映像であり、
前記映像処理手段は、２映像の差分イメージを調べ、そのピクセル値が０ではない領域においてマークを検出し、カメラとマークとの三次元相対位置と方向とを検出し、増強現実映像を出力することを特徴とする、請求項７または８に記載の偏光差分カメラを利用した映像処理システム。
前記映像処理手段は、以前瞬間に撮影したマークイメージと、現在撮影したマークイメージとの差分イメージから、事物の境界線イメージを求めることを特徴とする、請求項９に記載の偏光差分カメラを利用した映像処理システム。
前記カメラは、電気信号で撮影することができる偏光の種類を選択することを特徴とする、請求項１に記載の偏光差分カメラを利用した映像処理システム。
前記カメラは、偏光フィルムと電気信号とで位相遅延値を調整することができるフィルタを含むことを特徴とする、請求項１４に記載の偏光差分カメラを利用した映像処理システム。
前記カメラは、第１偏光を感知するピクセル、と第２偏光を感知するピクセルとが交互に分布されたイメージセンサを含むことを特徴とする、請求項１に記載の偏光差分カメラを利用した映像処理システム。