本発明の一実施形態にかかる映像表示スクリーンは、映像を表示する映像表示部と、映像とともに可視光以外の光を観察者に対して照射する非可視光発光部と、上記観察者が有する撮影装置から反射された上記可視光以外の光を検知する非可視光検知部とを備え、前記非可視光発光部は複数の発光領域を有し、前記複数の発光領域のうち前記非可視光検知部による検知に寄与する発光領域は等間隔に配置されている。
この構成により、非可視光検知部において、非可視光発光部から照射された光のうち、観察者が有する撮影装置で鏡面反射された成分を効果的に検知することができる。
前記非可視光検知部による検知に寄与する発光領域は、正方格子状に配置されていることが好ましい。この場合、前記観察者が有する撮影装置の反射部が正方形であり、前記反射部の一辺の長さをd、前記正方格子における発光領域の配置間隔をlsとすると、
が成り立つことがより好ましい。あるいは、前記観察者が有する撮影装置の反射部が円形であり、前記反射部の直径をd、前記正方格子における発光領域の配置間隔をlsとすると、
が成り立つことも好ましい。
あるいは、前記複数の発光領域が三角格子状に配置された構成としても良い。この場合、前記観察者が有する撮影装置の反射部が正方形であり、前記反射部の一辺の長さをd、前記三角格子における発光領域の配置間隔をltとすると、
が成り立つことが好ましい。あるいは、前記観察者が有する撮影装置の反射部が円形であり、前記反射部の直径の長さをd、前記三角格子における発光領域の配置間隔をltとすると、
が成り立つことも好ましい。
前記非可視光発光部が、前記発光領域が配置された可動式部材を有する構成としても良い。この場合、発光領域の数を減らすことができる。例えば、前記可動式部材が、映像表示部に対して垂直方向および水平方向のいずれか一方に往復移動可能に設けられた構成としても良い。あるいは、前記可動式部材が、回転可能に設けられた構成としても良い。
本発明の一実施形態にかかる映像表示スクリーンは、上記の課題を解決するために、映像を表示する映像表示部と、映像とともに可視光以外の光を観察者に対して照射する非可視光発光部と、上記観察者が有する撮影装置から反射された上記可視光以外の光を検知する非可視光検知部とを備えている。
さらに、上記の映像表示スクリーンには、映像表示スクリーンを劇場内などで観賞する観察者が有する撮影装置から反射された可視光以外の光を検知する非可視光検知部が備えられていることが好ましい。
このように、映像とともにその映像を妨害するための非可視光が観察者に対して照射されるような映像表示スクリーンを備えた劇場において盗撮を試みる場合には、盗撮者は、映像を妨害するための非可視光(再撮防止信号)を除去するために、赤外線反射フィルタまたは赤外線吸収フィルタなどの非可視光除去フィルタ(赤外線除去フィルタ)をカメラの前面に設けることが想定される。上記非可視光除去フィルタは、多くの非可視光を反射する。そのため、上記非可視光検知部には、盗撮用の撮影装置からの反射光が比較的強い強度で検知される。したがって、上記非可視光検知部が設けられていることで、撮影装置の存在を容易に確認することができる。
このように、本実施形態の映像表示スクリーンによれば、映像表示部に表示される映像の表示品質を落とすことなく、観察者が有する撮影装置によって再撮された映像の表示品質を劣化させることができる。さらに、観察者が映像表示スクリーンから照射される非可視光を除去しながら再撮を試みた場合には、非可視光検知部によって、観察者の撮影装置から反射される非可視光を容易に検知することができる。したがって、再撮行為を防止する効果をより向上させることができる。
本実施形態の映像表示スクリーンにおいて、上記可視光以外の光は、赤外線であり、上記非可視光検知部は、赤外線を検知する赤外線検知部であってもよい。
可視光以外の光が赤外線であれば、人体に悪影響を与えることなく、人間には視認不可能であり、かつ、ビデオカメラなどの撮影装置には映像を妨害する画像として感知させることができる。また、赤外線検知部として、例えば、赤外線カメラ、フォトダイオードなどを用いることで、ビデオカメラなどの撮影装置からの反射光を容易に検出することができる。
本実施形態の映像表示スクリーンにおいて、上記赤外線検知部は、赤外線カメラであってもよい。
上記の構成によれば、赤外線検知部が赤外線カメラであることにより、検知した赤外線の強度に応じた画像を得ることができる。なお、ここでいう赤外線カメラとは、少なくとも赤外領域の光を検知することが可能なもののことを意味する。すなわち、赤外線カメラには、赤外領域の光のみを検知することができるもの以外に、赤外領域+可視領域の光を検知して画像データを形成することができるものなども含まれる。
本実施形態の映像表示スクリーンにおいて、上記赤外線検知部は、赤外線を遮断する部材からの反射光を検知するものであってもよい。
ここで、赤外線を遮断する部材とは、赤外線の透過を防ぐ機能を有する部材である。この赤外線を遮断する部材は、上記観察者が有する撮影装置(盗撮用のカメラ)の前面に設けることで、赤外線を含む映像表示を行う映像表示スクリーンの映像から、赤外線を除去して映像のみを撮影することができるものである。
このような赤外線を遮断する部材として具体的には、赤外線反射フィルタまたは赤外線吸収フィルタなどが挙げられる。このようなフィルタを再撮用のカメラの前面に設けていると、赤外線を多く反射するため、上記赤外線検知部は、閾値以上の強度の赤外光を受光した場合に反射光ありと判定することで、上記の赤外線を遮断する部材からの反射光を選択的に検知することができる。
本実施形態の映像表示スクリーンにおいて、上記非可視光発光部は、上記映像表示部に映像が表示されている期間中、点灯と消灯とを繰り返してもよい。
上記の構成によれば、映像表示部から可視光以外の光が点滅しながら発せられる。これにより、非可視光発光部からの光が、ビデオカメラなどの撮影装置で撮影した画像中に点滅しながら入り込むことになる。このように、本来の映像とは異なる光が点滅しながら表示されると、人間の視角にはより目立って認識される。したがって、上記の構成によれば、撮影画像の表示品質をより大きく低下させることができる。
本発明の一実施形態にかかる映像表示システムは、上記の課題を解決するために、上記の何れかの映像表示スクリーンと、デジタル映像信号に基づいて表示画像を生成し、該表示画像を上記映像表示スクリーンに投射する画像形成部とを有する。
本実施形態の映像表示システムによれば、映像表示部に表示される映像の表示品質を落とすことなく、観察者が有する撮影装置によって再撮された映像の表示品質を劣化させることができる。さらに、観察者が映像表示スクリーンから照射される非可視光を除去しながら再撮を試みた場合には、非可視光検知部によって、観察者の撮影装置から反射される非可視光を容易に検知することができる。したがって、再撮行為を防止する効果をより向上させることができる。
ここで、可視光以外の光とは、380nmから780nmまでの可視光波長帯に含まれない光のことであり、具体的には、赤外光または紫外光のことである。このような可視光以外の光は、人間の眼には認識されないが、CCD、CMOSイメージセンサなどを備えた撮影装置(具体的には、例えば、ビデオカメラ)では可視光と同様に検出される。
上記の構成によれば、映像表示部に映像が表示されている期間中に、人間の眼には認識されないが、ビデオカメラなどの撮影装置には可視画像として記録される可視光以外の光を映像とともに観察者に対して照射することができる。これにより、観察者が盗撮用のビデオカメラを所持していた場合には、撮影された画像コンテンツ中には、可視光以外の光がオリジナルの映像を妨害する画像(再撮防止信号)として付加されることになり、再撮された画像の表示品質を劣化させることができる。なお、発光部から照射される光は可視光ではないので、人間の目には、オリジナルの映像のみが映像表示部に表示されているように見える。
[第1の実施形態]
以下、本発明のより具体的な実施形態について、図面を参照しながら説明する。なお、ここで説明する具体例は本発明の一例であり、本発明はこれに限定されるものではない。
人間の視覚には赤外線や紫外線などの可視光以外の光は認知されないのに対して、再撮に用いられるデジタルカメラおよびデジタルビデオカメラなどの撮像素子であるCCDおよびCMOSイメージセンサでは、素子そのものの特性や製品の仕様により、赤外線や紫外線などの可視光領域以外の波長も映像として検知される。そして、映画館などのスクリーンにおいて映像を表示しているときに、画像表示面から人間による知覚が困難な波長の光を再撮防止信号として同時に照射することで、ビデオカメラなどによって再撮された画像コンテンツ中に上記再撮防止信号を知覚可能な信号として取り込むことが可能になる。これにより、ビデオカメラが取り込んだ画像コンテンツを再生した場合には、再撮防止信号に基づく画像がオリジナルの映像を妨害するノイズとして見えるため、再撮された画像コンテンツの品質を劣化させることができる。
しかしながら、赤外線遮断フィルタなどのフィルタをビデオカメラのレンズの前面に配置すると、特定の波長の光(例えば、可視光)のみを選択的に透過し、それ以外の光(例えば、赤外線や紫外線などの可視光以外の光)については遮断することができる。このようなフィルタは、市販品として入手可能である。
そのため、ビデオカメラに赤外線遮断フィルタなどを取り付けた状態で、上記の再撮防止信号が含まれる映像表示を撮影した場合には、再撮防止信号がカメラから遮断され、再撮防止信号がほとんど含まれず品質の劣化が生じない映像が入手されてしまうことになる。
可視光のみを選択的に透過し、可視光以外の光を遮断する上記のようなフィルタは、可視光以外の光を多く反射する作用がある。したがって、再撮防止信号が含まれる映像を表示することのできる劇場内において、可視光以外の光を検知するカメラなどを設けることにより、可視光を遮断するフィルタが取り付けられたビデオカメラを容易に検知することができる。
本実施の形態では、デジタル画像コンテンツを基にして、映画館や劇場などにおいて映画などの映像を上映する映像表示システムについて説明する。本実施の形態の映像表示システムでは、劇場で上映されている映画などの画像コンテンツがデジタルビデオカメラなどによって撮影された場合に、撮影された画像コンテンツの表示品質を視聴不可能な程度に劣化させることで、再撮後の画像コンテンツが不正に流通することを防ぐことができる。
さらに、本実施の形態の映像表示システムには、赤外線除去フィルタなどを取り付けたデジタルビデオカメラから反射された赤外線を検知するための赤外線カメラが備えられており、赤外線による画像品質の劣化を回避しながら盗撮を行おうとするカメラの存在を検知することもできる。
つまり、本実施の形態の映像表示システムは、盗撮を防止し、かつ、盗撮者を検知するための機能を有している盗撮防止用の映像表示システム(盗撮検知システム)である。
(映像表示システムの概略構成について)
図2には、本実施の形態にかかる映像表示システム1の概略構成を示す。映像表示システム1(映像表示装置)は、映像再生機201、プロジェクタ202(画像形成部)、スクリーン203(映像表示部)、赤外線発光ユニット204(非可視光発光部、発光制御部)、および赤外線カメラ(非可視光検知部、赤外線検知部)205で構成されている。なお、本実施形態では、スクリーン203、赤外線発光ユニット204、および赤外線カメラ205が、映像表示スクリーンを構成する。
映像再生機201は、外部から取り込んだ画像コンテンツを一旦格納した後、画像形成を可能にするためのデコード処理を行い、処理後のデジタル映像信号をプロジェクタ202へ送信する。映像再生機201の構成については、従来公知のデジタル映像再生装置の構成を適用することができる。なお、本実施の形態のような映像表示システム1では、映像再生機201によって再生される画像コンテンツは、複数の画像フレームで構成されている画像コンテンツ(動画コンテンツ)が一般的であるが、本発明では必ずしもこれに限定はされない。つまり、画像コンテンツは、静止画像のコンテンツであってもよい。
プロジェクタ202は、映像再生機201から送信されたデジタル映像信号に基づいて、内蔵された表示素子において表示画像を形成し、さらに形成された画像を、内蔵された投射光学系を用いてスクリーン203に投射させる。プロジェクタ202の構成については、従来公知の前面投射型の画像表示装置の構成を適用することができる。
スクリーン203は、プロジェクタ202から投射された画像を表示する。
赤外線発光ユニット204は、スクリーン203の背面側に配置されており、スクリーン203に映像が表示されている期間中、赤外光を前面側に発光する。ここで、スクリーン203の背面側とは、画像が表示される面(観察者または観客席と対向している面)とは反対側のことであり、スクリーン203の前面側とは、画像が表示される側(観察者がいる側)のことである。
赤外線カメラ205は、波長780nm以上の赤外領域の光を主に検知して画像を形成する。赤外線カメラ205は、上記の赤外線発光ユニット204から照射された赤外線のうち、盗撮用のビデオカメラに取り付けられた赤外線除去フィルタなどによって反射された赤外線を検知するために設けられている。
なお、赤外線カメラ205は、赤外領域の光のみを検知することができるものに限定されず、ビデオカメラのナイトショット機能のように赤外領域+可視領域の光を検知して画像データを形成することができるものであってもよい。すなわち、ここでいう赤外線カメラ205とは、少なくとも赤外領域の光を検知することが可能なもののことをいう。
ここで、スクリーン203および赤外線発光ユニット204の具体的な構成について、以下に説明する。
スクリーン203は、映画館において映像を表示する従来の一般的なスクリーンと同様の構成である。なお、従来の一般的なスクリーンは、多数の小さな穴(1mm程度の穴)を有する幕の表面に白い塗料が塗布されて、画像表示面203aが形成されている。
また、赤外線発光ユニット204は、上記のようにスクリーン203の背面側に配置されている。さらに、本実施の形態では、赤外線発光ユニット204は、スクリーン203の画像表示領域203aのほぼ中央部に対応する位置に配置されている。図2に示すように、赤外線発光ユニット204には、縦3個×横3個の計9個の赤外光発光領域214が存在する。なお、ここに図示した赤外光発光領域214の個数はあくまでも一例であって、より多くの発光領域を設けることも可能である。各赤外光発光領域214には、赤外LEDが設けられている。赤外LEDとしては、例えば、波長780nm付近の波長帯の光を発するもの(これを780nmのLEDとする)、波長850nm付近の波長帯の光を発するもの(これを850nmのLEDとする)などが挙げられる。また、赤外線発光ユニット204から照射される赤外線は平行光に近いことが好ましい。これにより、赤外線の強度を強くすることができる。
上記の構成により、図3に示すように、赤外線発光ユニット204から発せられた赤外光は、スクリーン203に設けられた音響用の穴を通過して、観察者(観客席)に向かって照射される。
なお、赤外LEDから照射される光には、赤外領域に近い可視光領域の光が含まれることがある。そのため、赤外線発光ユニット204の光照射面に、可視光カットフィルタを配置してもよい。ここで使用する可視光カットフィルタは、従来公知のものでよい。特に、780nmのLEDは、より可視光領域に近い波長帯の光を発するため、可視光カットフィルタとともに利用することが望ましい。これにより、ビデオカメラなどのコンテンツ記録装置では検知されるが、観客席にいる人の目には視認されない赤外線発光ユニットを実現することができる。
(赤外線発光ユニットにおける発光領域の配置について)
ここで、赤外線発光ユニット204における発光領域(赤外LED)214の好ましい配置例について説明する。
図4に示すように、赤外線カメラ205は、赤外線発光ユニット204(図4には図示せず)の発光領域(赤外LED)214から出射され、盗撮用のカメラに設けられた赤外線除去フィルタ131で鏡面反射された赤外光を検知する。赤外線カメラ205において鏡面反射光を安定的に検知するためには、赤外線発光ユニット204において複数の発光領域214を等間隔に配置することが好ましい。なお、本発明の実施形態においては、赤外線カメラ205は、1台であっても良いし、複数台配置されていても良いが、ここでは、説明の便宜上、赤外線カメラ205は1台であるものとする。
図5(a)および図5(b)に、赤外線発光ユニット204における発光領域214の好ましい配置例を示す。すなわち、図5(a)に示すように、複数の発光領域214を正方格子状に配置しても良いし、図5(b)に示すように三角格子状に配置しても良い。これらのいずれの例においても、複数の発光領域214は等間隔に配置されている。なお、赤外線発光ユニット204における発光領域214の配置は、正方格子状および三角格子状に限定されず、その他の様々な配置態様をとり得る。また赤外線発光ユニット204の配置は、スクリーンの裏側に限らなくてもよい。
赤外線発光ユニット204における発光領域214の配置間隔は、検知対象物である赤外線除去フィルタのサイズに依存する。市販の赤外線除去フィルタとして入手可能なフィルタの形状は、一般的に、正方形または円形である。ここで、これらの代表的な2つのフィルタ形状(正方形、円形)について、正方形フィルタの一辺の長さおよび円形フィルタの直径をそれぞれdとした場合の、発光領域214の正方格子および三角格子の配置間隔lsおよびlt(図5(a)および図5(b)参照)について考察する。
図6は、赤外線発光ユニット204における発光領域214および赤外線カメラ205と、盗撮用のカメラに設けられた赤外線除去フィルタ131との位置関係を表した図である。長さdの赤外線除去フィルタ131(図6に示す線分QP)による鏡面反射を経由して、赤外線カメラ205(図6に示す点O)で反射光を検知する場合を想定する。鏡面反射の場合は赤外光の入射角と反射角とは線分QPに対して同じ角度となるので、長さ2dの領域(線分SR)内に少なくとも1つの発光領域214を配置することが必要となる。これを、一辺の長さdの正方形フィルタと直径dの円形フィルタの場合にあてはめると、一辺の長さ2dの正方形領域(または直径2dの円形領域)に少なくとも1つの発光領域214を配置できるように、正方格子の配置間隔ls(または三角格子の配置間隔lt)を決定する必要がある。盗撮者が赤外線除去フィルタ131を盗撮用のカメラに取り付ける際に、赤外線除去フィルタ131をその中心周りで任意に回転させる可能性を考慮すると、直径2dの円形領域に基づいて配置間隔を決定すれば良い。したがって、正方格子の配置間隔ls(または三角格子の配置間隔lt)は、それぞれ直径2dの円に内接する正方形(または正三角形)の一辺の長さ以下にすれば良い。以上より、正方格子の配置間隔lsおよび三角格子の配置間隔ltのそれぞれは、以下を満たすことが好ましい。
なお、盗撮者は、映像フレームが撮影画面に大きく映るように、かつ、歪みの少ない状態で撮影されるように、盗撮用のカメラを配置すると考えられる。この場合、盗撮用のカメラの赤外線除去フィルタは、フィルタ面の法線ベクトルが、映像表示スクリーンの中心部分に向くと想定される。したがって、赤外線カメラ205を映像表示スクリーンの裏面の中央位置に設置した場合、発光領域214を、赤外線カメラ205を中心とした一定の範囲に、上述の配置間隔にしたがって配置することが好ましい。発光領域214を配置する領域の大きさ(赤外LEDの個数)については、映像表示スクリーンのサイズや撮影環境に応じて任意に決定することができる。また、複数の赤外線カメラ205を設置する場合も、上述したものと同じ理由により、それぞれの赤外線カメラ205を中心とした一定の範囲に、上述の配置間隔にしたがって発光領域214を配置することが好ましい。
また、図2の例では、複数の赤外線発光領域(赤外LED)214が固定された赤外線発光ユニット204を示したが、可動式の赤外LEDによって赤外線発光ユニット204を構成することも可能である。
ここで、図7および図8に、可動式の赤外LEDによって構成される赤外線発光ユニット204の実施例を示す。図7に示す例では、複数の赤外線発光領域(赤外LED)214を水平方向一列に等間隔に並べて配置したスキャナ式ユニットとして、赤外線発光ユニット204が構成されている。このスキャナ式の赤外線発光ユニット204は、スクリーン203の垂直方向に往復移動可能に構成されている。この構成によれば、赤外線発光ユニット204の可動領域401に複数の赤外LEDを配置した場合と同じ効果が得られる。なお、図7ではスキャナ式の赤外線発光ユニット204が垂直方向に往復移動可能としたが、水平方向にスキャンする構造としても良い。
図8に示す例では、複数の赤外線発光領域(赤外LED)214を一列に等間隔に並べて配置した回転式ユニットとして、赤外線発光ユニット204が構成されている。この回転式の赤外線発光ユニット204は、その中央部が支持部材206によって回転可能に支持されている。したがって、図8に示す赤外線発光ユニット204は、支持部材206の支持点を中心に回転した場合、図8に破線で示す領域402内に複数の赤外LEDを配置した場合と同じ効果が得られる。以上のとおり、図7および図8に示したような、可動式の赤外LEDによって構成される赤外線発光ユニット204によれば、赤外LEDの必要個数が少なくて済む。これにより、消費電力が抑制され、かつ、メンテナンスも容易となるという効果が得られる。
(映像表示システム1内の各機能について)
続いて、映像表示システム1において、映像を表示するための構成、再撮された画像の品質を劣化させるための構成、および、盗撮用のカメラを検知するための構成についてそれぞれ説明する。図1は、映像表示システム1内の各装置の構成を示す機能ブロック図である。
図1に示すように、映像表示システム1内には、スクリーン203に映像を表示するためのコンテンツ表示部110と、再撮された画像の表示品質を劣化させるための再撮防止信号出力部120と、盗撮用のカメラを検知するための赤外線検知部140とが含まれている。
コンテンツ表示部110には、コンテンツ格納部111、デコーダ112、および、コンテンツ出力部113が含まれている。
コンテンツ格納部111は、外部から取り込んだ映画などの画像コンテンツを一時的に格納するためのものである。この場合、コンテンツ格納部111は、ハードディスクドライブや大容量メモリなどで実現される。但し、本発明では、コンテンツ格納部は上記のようなものに限定はされず、キャッシュや高速メモリなどといった、画像コンテンツの再生および表示中のバッファとして機能するものであってもよい。デコーダ112は、コンテンツ格納部111に格納された画像コンテンツを、プロジェクタ202の表示規格に適合するフォーマットにデコード処理する。コンテンツ出力部113は、デコード処理された画像コンテンツ(デジタル映像信号)から表示画像を形成し、スクリーン203の画像表示面(画像表示領域)203aに表示する。
本実施の形態においては、コンテンツ表示部110内の各ブロックのうち、コンテンツ格納部111およびデコーダ112は、映像再生機201内にある。また、コンテンツ出力部113は、プロジェクタ202およびスクリーン203として実現される。
上記したコンテンツ表示部110については、公知の映像表示システムと同様の構成を適用することができる。
再撮防止信号出力部120には、コンテンツ解析部121(画像解析部)、信号制御部122(発光制御部)、信号出力パターン格納部123(発光制御部)、および、信号発生部124(発光部)が含まれている。
コンテンツ解析部121は、コンテンツ表示部110から取り出した画像コンテンツ(デジタル映像信号)の空間的特徴量および時間的特徴量を解析する。すなわち、複数の画像フレームで構成されている画像コンテンツについて、フレームごとに各画素の明るさ(階調値)を解析する。これにより、一連の映像において、どの時点(どのフレーム)でどの領域がどの程度の明るさであるかという空間的特徴量および時間的特徴量に関する画像情報が得られる。なお、コンテンツ解析部121に送信されるデジタル映像信号は、デコーダ112において処理された映像信号である。
信号制御部122では、コンテンツ解析部121で得られた画像情報に基づいて、ある特定の画像フレームが表示されている時点での、赤外線発光ユニット204における発光強度を制御する。このとき、発光強度の制御は、信号出力パターン格納部123に格納されている情報を参照しながら行われる。
なお、信号出力パターン格納部123には、信号発生部124が出力する赤外光(再撮防止信号)の強度や信号発生のON/OFFパターンなどが格納されている。具体的には、画像フレームにおける各画素の平均階調値と、そのときの赤外線発光ユニット204の発光強度(赤外LEDの電流値とほぼ比例)とが対応付けて格納されている。これにより、信号制御部122では、信号出力パターン格納部123に格納されている信号発生パターンを参照しながら、信号発生部124における赤外LEDの発光状態を制御することができる。
信号発生部124は、信号制御部122からの指示に応じて再撮防止信号である赤外光の出力のON/OFFを行うとともに、その強度を変化させる。
本実施の形態においては、再撮防止信号出力部120内の各ブロックのうち、コンテンツ解析部121、信号制御部122、および、信号出力パターン格納部123は、映像再生機201内にある。また、信号発生部124は、赤外線発光ユニット204に相当する。
上記のように、コンテンツ解析部121、信号制御部122、および、信号出力パターン格納部123が設けられていることにより、画像コンテンツの性質に合わせて、赤外線発光ユニット204における赤外線の発光強度や発光パターンを制御することができる。また、赤外線発光ユニット204の各発光領域214からそれぞれ異なる発光強度の赤外線が照射されるように制御することもできる。
但し、本発明では、画像コンテンツの性質に合わせた発光強度および発光パターン(点灯と消灯の周期)の変更は必ずしも必要ではなく、予め決められた発光強度および発光パターンで赤外線発光ユニット204における発光の制御を行ってもよい。これにより、再撮防止信号出力部120における処理量を軽減させることができる。このように、発光の制御を予め決められたパターンで行う場合には、赤外線発光ユニット204に発光制御部を取り付け、スクリーン203に映像が表示されている期間中、画像コンテンツの内容とは無関係に一定の発光強度および発光パターンで赤外線を出力させればよい。
本実施の形態の映像表示システム1は、上記のような構成を有していることによって、スクリーン203の画像表示面から観察者に向かって映像とともに赤外光を照射することができる(図3参照)。人間の目は赤外光を認識しないため、赤外光を含む映像がスクリーンに映し出されても、通常の映像と何ら変わることのない映像が表示されているように認識される。これに対して、再撮に使用されるビデオカメラ130(130a・130b)は、赤外光も検知するCCDまたはCMOSイメージセンサを受光素子として有している。そのため、赤外光を含む映像を撮影すると、スクリーンから照射された赤外光も人間が視認可能な画像として取り込まれる。
なお、本実施の形態の映像表示システム1では、可視光以外の光を発する発光部として、赤外LEDを光源とする発光ユニットを用いているが、本発明はこの構成に限定されない。赤外光を発する光源として、LED以外の赤外光源を使用してもよい。また、可視光以外の光としては、波長780nm以上の赤外線に限定はされず、波長380nm以下の紫外線であってもよい。但し、紫外線は人体に対して有害であるため、映画館などの公共の施設で本発明の映像表示装置を使用する場合には、赤外光を発する発光部を用いることが好ましい。また、発光ユニットから照射される可視光以外の光が紫外線の場合には、非可視光検知部は、赤外線検知部140の代わりに、紫外線検知部が用いられる。紫外線検知部の具体例としては、紫外線カメラなどが挙げられる。
図3には、映像表示システム1において、盗撮用のカメラに妨害画像を加える方法、および、盗撮用のカメラを検知する方法を模式的に示す。なお、図2に示す映像表示システム1では、赤外線カメラ205がスクリーン203の上部に設けられていたが、ここでは、赤外線カメラ205がスクリーン203の背面に設けられている構成を示す。また、図2に示す映像表示システム1では、赤外線発光ユニット204はスクリーン203の中央部に1つ設けられていたが、ここでは、2つの赤外線発光ユニットが、スクリーンの上部と下部にそれぞれ設けられている構成を示す。本発明では、これらの構成について特に限定はされず、場合に応じて適宜変更することができる。
また、図3では、スクリーン203に表示された映像を再撮しようとする者(観察者または再撮行為者とも呼ぶ)が用いる盗撮用のカメラ(撮影装置)130(130a・130b)を示す。図3に示す2台の盗撮用のカメラ130a・130bのうち、カメラ130aは、赤外線除去フィルタ(非可視光(特に赤外線)を遮断する部材)131が取り付けられたビデオカメラであり、カメラ130bは、赤外線除去フィルタが取り付けられていない通常のビデオカメラである。
まず、盗撮用のカメラに妨害映像を加える方法について説明する。
映像表示システム1では、スクリーン203に表示画像aが映し出されている期間中、同時に、赤外線発光ユニット204から赤外線bが再撮防止信号として発せられる。赤外線発光ユニット204から発せられた赤外線bは、スクリーン203に設けられた音響用の穴を通過して、観察者(観客席)に向かって照射される。
そして、カメラ130bを使用して画像コンテンツの再撮を行った場合には、カメラの受光部(レンズ)に、表示画像aおよび赤外線bが入射する。カメラ130bの受光素子は、可視光および赤外光に受光感度を有するため、図14の(a)に示すように、記録された画像コンテンツ内には、赤外線に起因した画像が妨害画像Aとして含まれる。これにより、映像表示システム1では、再撮された画像の表示品質を劣化させ、利用価値を低下させることができるため、映像コンテンツの不正流通を目的とするビデオカメラの撮影を防止することができる。
一方、赤外線除去フィルタ131が取り付けられたカメラ130aを使用して画像コンテンツの再撮を行った場合には、表示画像aについては赤外線除去フィルタ131を通過して受光部に入射するが、赤外線bについては赤外線除去フィルタ131によって大部分が反射されるため受光部にはほとんど入射しない。そのため、図14の(b)に示すように、記録された画像コンテンツ内には妨害画像が含まれず、ある程度の視認可能な画像となる。
このように、再撮行為者が、ビデオカメラに赤外線除去フィルタなどを取り付け、赤外領域の光を遮断して撮影を行った場合には、赤外線発光ユニット204から発せられる再撮防止信号の効果が低減してしまう。そこで、このようなビデオカメラの存在を検知するために、本実施の形態の映像表示システム1には、赤外線検知部140が設けられている。
(赤外線検知部について)
以下に、赤外線検知部140の構成について説明する。
赤外線検知部140には、広角レンズ141、赤外線受光部142、および、画像処理部143などが含まれている。
広角レンズ141は、赤外線受光部142が広範囲からの反射光を受光できるようにするためのものである。通常、広角レンズ141は、画角が63度以上である。この広角レンズ141が設けられていることにより、劇場内の全ての観客席からの反射光を受光することができる。
赤外線受光部142は、CCDまたはCMOSイメージセンサを受光素子として備えている。この受光素子は、可視領域だけではなく、紫外および赤外領域の波長の光に対しても受光感度を有する。そのため、受光素子の受光面には可視光カットフィルタなどの光学フィルタが設けられており、この光学フィルタによって紫外領域および可視領域の波長の光を除去した後、受光素子に取り込まれ、当該素子が取得したデータに基づいて画像を形成する。なお、前記のフィルタは特定の波長の光のみ通過させるフィルタであってもよく、また、特定の波長のみを除去するフィルタであってもよい。
画像処理部143は、盗撮用のビデオカメラをより確実に認識するために、赤外線受光部142によって取り込まれた画像に対して処理を施す。ここで行われる画像処理の詳細については、後述する。
本実施の形態においては、赤外線検知部140は赤外線カメラ205で実現される。なお、画像処理部143については、赤外線カメラ205とは別体のPCなどの専用の画像処理装置で実現してもよい。
本実施の形態の映像表示システム1は、上記のような赤外線検知部140を有していることによって、図3に示すように、赤外線による妨害画像を除去するために赤外線除去フィルタ131をカメラ130aに取り付けた場合に、赤外線発光ユニット204から照射された赤外線bが赤外線除去フィルタ131によって反射されて得られる反射光(反射された赤外線c)を検知することができる。
なお、赤外線検知部140において検知することが可能な赤外線除去フィルタ131としては、例えば、赤外線反射フィルタまたは赤外線吸収フィルタなどがある。これらのフィルタは、赤外線の反射率が高いため、盗撮用のカメラ130にこれらのフィルタが取り付けられていた場合に、赤外線検知部140によって容易にカメラ130の存在を検知することができる。
また、赤外線反射フィルタと赤外線吸収フィルタとを比較すると、赤外線反射フィルタのほうがより赤外線の反射率が高いが、赤外線吸収フィルタを使用した場合にも、金属などと比較して高い反射率が得られるため、赤外線検知部140によって検知することができる。
なお、ビデオカメラのレンズのような曲面レンズの赤外線の反射率は、一般的に、赤外線除去フィルタの反射率よりも低いが、曲面状のガラス(例えば、ガラスコップ)や曲面状の金属(例えば、ねじ回し(screwdriver)やメガネのフレーム等のような棒状の金属)の反射率よりは高い。そのため、画像処理部143における画像処理の方法によれば、赤外線除去フィルタが設けられていない通常のビデオカメラのレンズについても、赤外線検知部140における検知が可能となる。なお、赤外線検知部140は、スクリーンと同じ平面上またはスクリーンの裏側等の盗撮される画面側に設けられており、観察者側からの反射光を効率良く受光できるようにその受光面が向いていることが好ましい。
なお、上記の説明においては、スクリーン203に設けられた音響用の穴を通して、観察者(観客席)に向かって赤外線が照射される構成を例示した。しかし、赤外線の照射は、必ずしも音響用の穴を利用しなくても良い。例えば、赤外線を通過させる穴を専用に設けても良いし、音響用以外の他の用途に設けられた穴を利用しても良い。
(画像処理部での画像処理方法について)
続いて、画像処理部143において行われる画像処理の具体例を説明する。但し、この方法は本発明の一例であり、本発明はこれに限定されない。
赤外線検知部140(赤外線カメラ205)内の赤外線受光部142で得られた赤外線画像データは、複数のフレームからなる画像データとしてフレームごとに画像処理部143に入力される。各フレーム画像データは、縦横に配列した複数の画素に対応した階調データを有している。各画素の階調データは、当該画素において受光した赤外線の強度に対応した階調値(例えば、0〜255階調)のデータである。ここでは、受光した赤外線強度がゼロの場合に0階調(これを便宜上、黒表示と呼ぶ)となり、受光した赤外線強度が最大の場合に255階調(これを便宜上、白表示と呼ぶ)となる。
図9には、画像処理部143内を機能ごとに分割した構成を示す。図9に示すように、画像処理部143内には、フリッカ除去フィルタ151(フレーム除去部)、差分処理部152、ノイズ除去フィルタ153、2値化処理部154、面積計測部155、および、カメラ判定部156(判定部)が設けられている。
フリッカ除去フィルタ151は、各フレーム画像データにおいて全画素が黒表示(0階調)のフレーム画像データを判別し、判別された黒表示の画像データを削除するという処理を行う回路である。このような処理を行うことによって、例えば、赤外線発光ユニット204が点滅をしている場合などに、赤外線発光ユニット204が消灯状態の場合の画像データを除去し、点灯状態の場合の画像データのみを残すことができる。
また、別の方法として、フリッカ除去フィルタ151において、複数のフレーム画像データにおける各画素の階調値の時間平均を算出するという方法で全画素が黒表示のフレームを除去してもよい。
差分処理部152は、予め保存されたリファレンス画像データと送信された画像データとを比較し、2つのデータ間の差分をとる回路である。なお、ここで使用されるリファレンス画像データ152aとしては、例えば、観客がいない場合の劇場内において映像表示システム1の赤外線発光ユニット204を作動させ、このときに赤外線カメラ205で撮影された1フレーム分の画像データが挙げられる。
また、差分処理部152では、複数のフレーム間の差分をとることで、画像データ内の動きのある箇所を排除することができる。通常、盗撮行為はカメラを固定して行うため、当該処理により静止している箇所を特定することで、カメラに取り付けられたフィルタの検知精度を上げることが可能になる。
ノイズ除去フィルタ153は、周辺の数画素が黒表示である領域内に1画素または一定数未満の数画素からなる白表示が存在する場合には、当該白表示の画素をノイズとして除去する回路である。このフィルタ回路では、自画素を中心とする複数画素(例えば、3×3画素、5×5画素)内に、一定数以上(例えば、1画素、2画素など)の画素が閾値以上の赤外線を検知した場合に、当該自画素を赤外線検知ありのデータ(例えば、白表示のデータ)として残す。自画素を中心とする複数画素内に、閾値以上の赤外線を検知した画素の数が一定数未満であった場合には、当該自画素を赤外線検知なしのデータとする(すなわち、階調値0と出力する)。
2値化処理部154は、階調データに閾値を設け、階調データが閾値以上の画素については、その階調データを白表示のデータ(すなわち、階調値255)に変換し、階調データが閾値未満の画素については、その階調データを黒表示のデータ(すなわち、階調値0)に変換するという処理を行う回路である。
面積計測部155は、2値化処理部154によって2値化処理が行われた画像データ内において、白表示の領域内に含まれる画素数を計測する回路である。ここでの処理は、例えば、黒表示の画素と白表示の画素との境界を測定し、この境界内に含まれる画素数をカウントすることによって行う。
カメラ判定部156は、面積計測部155によって白表示の領域が所定の面積以上(画素数以上)であるか否かを判別し、所定の面積以上の場合に、盗撮用のカメラありと判定する。
ここで、上記の構成を有する画像処理部143内において行われる画像処理の流れを、図26に示すフローチャートを参照しながら説明する。
まず、赤外線受光部142から送信されたフレーム画像データ(赤外線画像データ)は、フリッカ除去フィルタ151において、全画素黒表示のデータが削除され、必要に応じて複数の映像フレームの平均がとられて、黒表示と白表示とが混在したフレーム画像データのみのデータとなる(図26に示すステップS101)。なお、赤外線発光ユニット204から照射される赤外線が常時点灯している場合には、フリッカ除去フィルタ151による処理は必ずしも行う必要はない。なお、リファレンス画像データ152aに対しても、ステップS101と同様に、フリッカ除去処理が行われる(ステップS102)。
次に、全画素黒表示のデータが削除されたフレーム画像データは、差分処理部152において、リファレンス画像データ152aとの間で差分算出処理が行われる(ステップS103)。この処理によって得られる画像データでは、劇場内に予め設置されている備品などからの赤外線の反射光が除去され、観客に起因した反射光のみによる赤外線強度を反映させた画像データが得られる。また、ステップS101の処理によってフリッカが除去された画像データに対して動き検出を行い、動きを伴う反射物をノイズ成分として検出しても良い(ステップS104)。
次に、ノイズ除去フィルタ153において、閾値以上の高い赤外線強度を有する画素のうち、1画素のみが孤立して存在しているものについては、黒表示の階調データに変換する(ステップS105)。なお、ステップS104において動き検出処理を行った場合は、動きを伴う反射物のノイズ成分も、ここで除去される。
次に、2値化処理部154において、階調値が閾値以上の画素を階調値255に変換し、階調値が閾値未満の画素を階調値0に変換する処理を行う(ステップS106)。ここでの閾値は、例えば、以下の図10に示すように80階調、250階調などとすることができる。また、弱い反射光をノイズとして除去する場合には、上記閾値は、例えば、100階調〜250階調の範囲内の値とするのがよい。
最後に、面積計測部155が、2値化処理された画像データにおいて、白表示の領域の面積(画素数)を計測する(ステップS107)。そして、カメラ判定部156において、白表示の領域が所定の面積以上(画素数以上)であるか否かを判別し、所定の面積以上の場合に、盗撮用のカメラありと判定する(ステップS108)。なお、ここで、カメラ判定部156が盗撮用カメラありと判定した場合には、警報などを発することができる。また、警報と同時に2値化前の撮影画像を管理室などのモニタに表示することにより、監視員が盗撮カメラ位置を容易に推定できるようにしてもよい。
上記の方法によれば、映画館などにおいて映画の盗撮を行う者を自動で検出することが可能となる。なお、上記のように自動検出を行う場合には、例えば、上記の画像処理によって、赤外線除去フィルタの存在が確認されたら、劇場の管理者(または監視員)がいる部屋で警報を鳴らすなどして盗撮者の存在を知らせることができる。これにより、管理者がカメラを確認することなく、盗撮者の存在を容易に知ることができる。
なお、上記した画像処理の方法は一例であり、本発明はこれに限定されない。すなわち、画像処理部143内には、図9に示すような各処理回路が必ずしも全て設けられている必要はなく、図9に示す各処理回路のうちの一つあるいは複数の処理回路が設けられている場合にも、盗撮用のカメラの検知を適切に行うことができる。
例えば、フレーム画像データに対して2値化処理部154による2値化処理を行うのみでも、図10に示すように、赤外線除去フィルタ131が取り付けられたビデオカメラと、金属などのカメラ以外の備品とを見分けることが可能である。
図10の(a)には、階調値80を閾値として2値化処理を行った場合の、元の画像データ(オリジナル)と、2値化処理後の画像データとを比較して示す。また、図10の(b)には、階調値250を閾値として2値化処理を行った場合の、元の画像データ(オリジナル)と、2値化処理後の画像データとを比較して示す。
なお、図10に示すオリジナルの画像データは、映像表示システム1を備えた部屋に、凸レンズ(虫メガネ)A、金属(ねじ回し)B、赤外透過フィルタC、赤外吸収フィルタD、および、赤外反射フィルタEを置き、赤外線発光ユニット204を常時点灯状態として、赤外線カメラ205で撮影したときに得られたものである。図10の各図では、左側から順に凸レンズ(虫メガネ)A、金属(ねじ回し)B、赤外透過フィルタC、赤外吸収フィルタD、および、赤外反射フィルタEからの反射光のデータを示す。なお、AおよびBは曲面での反射、C〜Eは平面での反射である。
図10の(a)に示すように、閾値80で2値化処理を行うと、A〜Eの全ての物品において、白表示が存在することがわかる。しかし、白表示の面積(画素数)は、各物品で異なっている。そのため、閾値80で2値化処理を行う場合には、面積計測部155によって白表示領域の面積を計測し、その後、カメラ判定部156が、白表示の領域が所定の面積以上(画素数以上)であるか否かを判別するという処理を行うことが好ましい。この処理を行うことによって、赤外線除去フィルタ(DおよびE)と、凸レンズAおよび金属Bなどのそれ以外の物品とを判別することなできる。
なお、赤外透過フィルタCについては、赤外除去効果は小さいが、仮にビデオカメラのレンズに設けられていた場合には、赤外線除去フィルタと同様に判別することができる。
また、図10の(b)に示すように、閾値250で2値化処理を行うと、Eのみに白表示が存在することがわかる。したがって、閾値250で2値化処理を行えば、赤外線除去効果のより高い赤外反射フィルタEと、それ以外の物品A〜Dとを判別することができることが確認された。
また、画像処理部143内のカメラ判定部156で行う判定は、スクリーン203からの距離に応じて、面積の閾値を変更してもよい。これについて、図11を参照しながら以下に説明する。
ここでは、スクリーン203から観客席までの距離Lの大きさによって撮影領域を複数の赤外線カメラで分担する場合を例に挙げて説明する。図11に示す例では、スクリーン203を下段部分から4つの撮影領域に分割して、4台の赤外線カメラで盗撮用のカメラ130aを検知する方法について説明する。この4つの撮影領域を下から順にR1,R2,R3,R4とする。
図11に示すように、撮影領域R1では、スクリーン203から観客席までの距離はL1であり、撮影領域R2では、スクリーン203から観客席までの距離はL2であり、撮影領域R3では、スクリーン203から観客席までの距離はL3であり、撮影領域R4では、スクリーン203から観客席までの距離はL4である。ここで、L1,L2,L3,L4は、L4>L3>L2>L1となっている。
赤外線カメラ205は、スクリーン203とほぼ同じ面上に設置されているため、赤外線カメラ205で観客席を撮影すると、距離Lが大きくなるほど、カメラ130aに備えられた赤外線除去フィルタ131の面積は小さくなる。したがって、カメラ判定部156では、図11に示すように、盗撮用のカメラありと判定する面積の閾値Tを距離Lに応じてT1〜T4のように変更する。これにより、カメラ判定部156では、赤外線除去フィルタに相当する大きさの赤外線の反射光が検知された否かを、赤外線カメラ205が撮影対象とする領域ごとに的確に判定することができる。
カメラ判定部156による、図26のステップ108におけるカメラ判定処理について、以下のようなバリエーションが考えられる。すなわち、ステップS103の差分算出処理、ステップS104の動き検出処理、およびステップS105のノイズ除去処理によって、赤外線拡散反射箇所や、動きを伴う反射物箇所を排除した処理後の画像フレームは、赤外線除去フィルタ131を有する盗撮用のカメラが存在する場合、静止した赤外線鏡面反射領域を含む画像となっている。
なお、ステップS101〜ステップS108の処理は、一般的に、一定枚数の画像フレーム毎に実行される。したがって、例えば図27(a)に示すように、ステップS107による面積計測処理を経た後の、時間的に連続する複数の画像フレームの一部において、何らかの理由で鏡面反射物が検知不可な場合がある。図27(a)の例では、連続する4つの画像フレームのうち、第2番目の画像フレームにおいて、鏡面反射物に相当する白表示の領域が検知されていない。このような状況は、当該画像フレームが撮影された際に、盗撮用のカメラの向きが微妙にずれる等して、当該カメラからの鏡面反射光が赤外線カメラで検知されなかったこと等によって生じる。
また、例えば図27(b)に示すように、盗撮者の身体の動き等により、鏡面反射物の位置が、前記複数の画像フレームにわたって微少にずれる場合もある。あるいは、例えば図27(c)に示すように、鏡面反射物が、前記複数の画像フレームにおいて、互いに異なる小領域に分割されて検知される場合もある。
そこで、カメラ判定部156は、これらの場合に適切に対処するために、ステップS107による面積計測処理を経た後の、時間的に連続する複数の画像フレームに対して、以下のような処理を行うことが好ましい。
まず、図27(a)に示した場合に対処するために、カメラ判定部156は、連続した複数の画像フレームのうち、盗撮用のカメラ(所定の面積以上の白表示の領域)が存在すると判別される画像フレームの数C1と、鏡面反射物が存在しないと判別される画像フレームの数C2とをそれぞれカウントする。そして、カメラ判定部156は、前記のC1の方がC2よりも大きければ、盗撮用のカメラが存在すると判定する。なお、この際に、前記のC1の方がC2よりも十分に(所定フレーム数を超えて)大きいことを、盗撮用のカメラが存在すると判定する条件としても良い。
また、図27(b)に示した場合に対処するために、カメラ判定部156は、連続した複数の画像フレームのそれぞれにおいて、盗撮用のカメラを表す所定の面積以上の白表示の領域の重心を判定する。そして、前記複数の画像フレームにわたって、前記領域の重心の移動距離が一定値以下であれば、当該領域の位置に、盗撮用のカメラが存在すると判定する。
また、図27(c)に示した場合に対処するために、カメラ判定部156は、連続した複数の画像フレームのそれぞれにおいて、前記小領域の重心を判定する。そして、前記複数の画像フレームにわたって、前記小領域の重心間の距離が一定値以下であれば、当該小領域の集合体の位置に、盗撮用のカメラが存在すると判定する。あるいは、カメラ判定部156が、前記小領域のそれぞれに膨張処理を施して領域結合してから、盗撮用のカメラを表す所定の面積以上の白表示の領域が存在するか否かを判定するようにしても良い。
なお、本実施の形態で使用される赤外線カメラ205は、その焦点位置を調節することができるものであってもよい。この場合、まず受光範囲を広くして劇場全体をサーチし、盗撮カメラと思われる反射光を検知した場合には、その後、その位置に対して焦点を当てて拡大することにより、より確実に盗撮カメラの有無を検知することができる。このような焦点位置を調整できる赤外線カメラの場合には、カメラ判定部156で判定を行うときの面積の閾値は、焦点距離に応じて例えば図11に示すように変更することが好ましい。
また、劇場の側面などのスクリーン設置面とは異なる場所に、補助用の赤外線カメラ(補助カメラ)が設けられていてもよい。この補助カメラは、赤外線除去フィルタ131によって反射された赤外線が、さらに、スクリーン203などによって反射されることを想定して設けられている。このような補助カメラが設けられていることによって、より確実に盗撮用のカメラの有無を検知することができる。補助カメラを設ける場所としては、スクリーン203からの反射光を捉えることができる場所が好ましい。
(盗撮カメラの位置推定方法について)
さらに、本実施形態の映像表示システムでは、カメラ判定部156が盗撮用カメラありと判定した場合に、判定結果と同時に館内の盗撮カメラの位置を推定し、当該位置を判定結果とともに出力することも可能である。この盗撮カメラの位置を推定する方法について、以下に説明する。
具体的には、(1)撮影画像内での白領域の位置や当該領域の二値化前の明るさ分布に基づいて館内の盗撮カメラの位置を推定する方法や、(2)予め館内の構造を記憶しておき、記憶した館内構造情報(施設内の位置情報)に基づいて、検出された赤外線画像データ内の反射光の相対位置を検出し、盗撮カメラの位置を推定する方法などが挙げられる。
まず、上記(1)の方法の一例としては、参考文献1:原、Tan、西野、中澤、池内著、「単一画像からの光源位置・色と表面反射特性の推定」、情報処理学会論文誌、Vol.44、No.SIG9(CVIM7)、94−104頁(July 2003)に記載された手法を用いて、盗撮カメラの位置を推定する方法が挙げられる。
この手法では、物体反射光が、鏡面反射と拡散反射という2つの反射成分から構成されることを前提としている。ここで鏡面反射とは、鏡などによる完全な光の反射であり、入射角と反射角とが反射面に対して同じ角度となる反射成分である。一方、拡散反射とは、平坦ではない表面からの光の反射であり、入射角と反射角とが反射面に対して異なる角度となる反射成分である。この拡散反射は、乱反射とも呼ばれる。
これら2つの反射成分の性質は大きく異なるため、本手法では、まず鏡面反射成分と拡散反射成分との分離を行う。そして、各成分に付随するパラメータを評価関数が最小になるように更新させることで、光源位置(具体的には、光源と反射面との相対位置、本発明では、盗撮カメラの位置に相当)の推定を行う。
具体的な光源位置の推定方法について、図15、11を参照しながら以下に説明する。なお、この方法は、上記参考文献1の「2.2 提案手法の概要」に記載された技術に基づいている。図15は、本方法における光源A、カメラB、および、反射物Cの位置関係を示す模式図である。この図を本発明の映像表示システムに適用すると、光源Aが赤外線発光ユニット204に、カメラBが赤外線カメラ205に、反射物Cがビデオカメラ130に取り付けられた赤外線除去フィルタ131にそれぞれ相当する。
また、図16は、本方法において行われる各処理の流れを示すブロック図である。このブロック図に示す処理は、例えば、図9に示す画像処理部143内の面積計測部155において実行することができる。つまり、面積計測部155は、ビデオカメラ130の館内における位置を推定する位置推定部の機能も有している。なお、この方法で行われる位置推定に使用される画像データは、赤外線受光部142から送信されたフレーム画像データ(赤外線画像データ)である。すなわち、画像処理部143内の各ブロック151〜154において画像処理が行われていない画像データである。このような画像データの一例を、図16の(a)に示す。
図16に示すように、面積計測部155では、まず、入力された赤外線画像データに基づいて、鏡面反射光の強度が最大となる画素(ピーク点)を特定し、該ピーク点から光源方向θ(図15参照)を推定する(Step.1参照)。図16の(b)の画像データでは、上記ピーク点を白で表示している。
次に、Step.2において、拡散反射領域における明るさ分布(図16の(c)の画像データにおける灰色の部分)に対する拡散反射モデルのあてはまりやすさを基準にして、鏡面反射ピークから光源までの距離(これを光源奥行きR(図15参照)とする)と拡散反射特性を推定する。
光源AおよびカメラBの位置は既知であるため、上記のようにRおよびθを規定し、該Rおよびθを求めることで、反射物Cの位置を推定することができる。なお、図15に示すように、上記Rおよびθはカメラと反射物Cとの相対位置を表すものであるが、ここでは便宜上、「光源方向θ」および「光源奥行きR」と表現する。
続くStep.3において、Step.2で推定した拡散反射特性に基づいて、鏡面反射成分を分離し、鏡面反射特性を推定する。次に、Step.4において、これまでの各ステップにおいて推定した光源方向θ、奥行きR、拡散反射特性、および鏡面反射特性に基づいて、仮想反射画像を作成する。そして、得られた仮想反射画像と実画像との差分(エネルギー関数)を算出し、当該エネルギー関数が収束するまで拡散・反射領域の分離度合いを調整しながら、上記のStep.1〜4の反復処理を行う。そして、Step.5において、関数収束時の光源方向θおよび光源奥行きRを反射物Cの推定位置として決定する。
以上のような方法により、反射物Cの推定位置が盗撮用カメラの位置として求められる。
ところで、盗撮用カメラに取り付けられる赤外線除去フィルタのような光学フィルタの表面での反射は、鏡面反射成分が100%であり、拡散反射成分は含まれない。しかしながら、上述した(1)の方法では、反射物Cが鏡面反射特性および拡散反射特性の両方を有することが前提となっており、拡散反射特性に基づいて光源奥行きRを推定するため、反射物が光学フィルタのような鏡面反射物の場合には、光源奥行きRの正確な値を求めることができない。
そこで、光学フィルタのような鏡面反射物に対しても、反射物の位置を推定することができる方法として、上記(2)の方法を挙げることができる。以下には、上記(2)の方法の具体例について説明する。
図17には、この方法を採用する場合の画像処理部143内の機能構成を示す。この図において、図10に示す画像処理部143内の構成と同じ機能を有するブロックについては、同じ部材番号を付している。
図17に示す画像処理部143には、図10に示す画像処理部143内の構成に加えて、画像歪み補正部157が、フリッカ除去フィルタ151と差分処理部152との間に設けられている。また、面積計測部155において、盗撮カメラの位置推定を行う場合に参照データとして使用される館内構造情報を記憶する館内構造情報記憶部155aが設けられている。さらに、画像処理部143の外部には、カメラ制御部144が設けられている。なお、ノイズ除去フィルタ153と2値化処理部154は、その順序が逆になっていてもよい。すなわち、ノイズ除去と2値化処理は、どちらの処理を先に行ってもよい。
画像歪み補正部157は、歪曲収差(ディストーション)補正という処理を行う。
館内構造情報記憶部155aには、後述する様々な位置推定方法を行うために必要とされる館内構造情報(映像表示システム1が設けられている映画館などの施設に関する情報)が記憶されている。この館内構造情報は、上映前に予め館内を撮影して得られた画像データに基づく情報である。
カメラ制御部144は、カメラ判定部156における判定結果に基づいて、撮影位置の変更や拡大・縮小処理などという赤外線カメラ205の制御を行う。
続いて、図17に示す画像処理部143において行われる盗撮用カメラの位置推定の方法の具体例1〜3について説明する。
まず、具体例1(第1の方法)について、図18,14を参照しながら説明する。
この方法では、図18に示すように、2値化処理部154において2値化処理の行われた画像データ(例えば、図18の(a)の画像データ)に基づいて、面積計測部155内で位置推定が行われる。つまり、面積計測部155は、ビデオカメラ130の館内における位置を推定する位置推定部の機能も有している。
最初に、Step.1において、入力された2値化画像データに基づいて、反射光の強度が最大となる画素(ピーク点)を特定し、該ピーク点から光源方向θ(図15参照)を推定する。図18の(a)の画像データでは、上記ピーク点をAとする。
次に、Step.2において、得られた光源方向θを館内構造情報記憶部155aに記憶されている館内構造モデルに当てはめ、盗撮用カメラが存在する可能性の高い候補領域を選定する。図18の(b)では、館内構造モデルに当てはめて選定された候補領域をBで示す。
最後に、Step.3において、床から赤外線カメラ205の光軸までの高さが閾値d未満であるか否かによって、光源奥行きRを決定している。
続いて、具体例2(第2の方法)について、図20,16を参照しながら説明する。
この方法では、モーションキャプチャー用反射マーカー(計測プラネット社製)などの反射マーカーを館内の所定位置に1〜複数個予め配置しておく。そして、映像表示システム1を観客がいない状態で作動させて得られる画像データを取得し、各反射マーカーの館内における相対位置を館内構造情報として館内構造情報記憶部155aに記憶しておく。
図21には、観客席ごとに反射マーカー300をそれぞれ配置した場合に得られる館内構造情報の一例を示す。反射マーカーが存在する位置(図21において○で示す位置)は、他の位置と比較して反射光の強度が高くなる。そして、最小二乗法などを用いて、この反射光の高い箇所(図21において○で示す箇所)をより多く通過するように直線でつなぐことによって、図21に示すような館内構造情報が得られる。そして、この館内構造情報を用いて、盗撮用カメラに取り付けられた赤外線除去フィルタ131の位置を特定する。
すなわち、図20に示すように、まず、Step.1において、観客がいない状態で赤外線カメラが取得した画像データから得られた2値化画像データに基づいて、面積計測部155において、図21に示すような館内構造情報を作成し、館内構造情報記憶部155aに記憶する。
続いて、Step.2において、観客がいる状態で赤外線カメラが取得した画像データから得られた2値化画像データ(図20の(b)参照)に基づいて、図21に示す館内構造情報には含まれない反射光のピーク301を盗撮カメラに取り付けられた赤外線除去フィルタ131であると識別する。さらに、図20の(b)に示す画像データを図21の館内構造情報に当てはめ、検出された反射光のピーク301が、どの観客席から得られたものであるかを判定する。
以上のような処理により、光学フィルタのような鏡面反射物の位置を推定することができる。なお、館内に配置する反射マーカー300の数は、多いほど位置推定の精度を高くすることができるが、特に限定はされず、館内の四隅のみに反射マーカー300を配置してもよい。
なお、上記の反射マーカー300の代わりに、赤外LEDなどの赤外線発光光源を館内の所定の位置に配置してもよい。そして、各位置の光源ごとに異なる点滅スピードで点滅するようにすれば、各光源の発光パターンと対応させて、赤外線除去フィルタ131の位置を特定することができる。なお、光源の点滅スピードは、電源とパルス発生回路とによって調節することができる。光源の点滅周波数を10Hz前後とすることが、最も顕著な妨害効果を得る上では好ましい。
続いて、具体例3(第3の方法)について、図22,18を参照しながら説明する。
通常、映画館は任意の観客席からスクリーン全面が視聴できる構造になっており、ある席と他の席との視線の重なりがないように設計されている。そこで、本方法では、このような映画館の構造を考慮し、赤外線カメラ205によって得られる画像データの座標から、盗撮カメラの位置を特定する。
この方法では、まず、図22に示すように、観客がいない状態でカメラ(赤外線カメラに限定されない)が取得した画像データ(図22の(a)参照)を、画像処理により領域分割する(図22の(b)参照)。そして、図22の(b)に示すように、各画素をXY座標によって特定し、どの座席(A1、A2・・・)がどの座標の画素に対応しているかという対応表を作成して、館内構造情報記憶部155aに記憶する。
対応表の作成方法の一例として、観客がいない状態でカメラ(赤外線カメラに限定されない)が取得した画像データ(図22の(a)参照)から明度分布と色相分布を求め、当該分布から明度・色相範囲を決定して、観客席領域とそれ以外の領域に分割する。次に、観客席領域について、明度分布及び色相分布を求め、当該分布から明度・色相範囲を改めて決定して、個々の観客席を分割し、領域分割した画像(図22の(b)参照)を作成する。さらに、分割した個々の領域をラベリングすることで、画像上の任意の座標がどの観客席上にあるか、あるいは、観客席以外の領域にあるか判定可能な対応表が作成される。
そして、図23に示すように、観客がいる状態で赤外線カメラが取得した画像データ(図23の(a)参照)に基づいて、面積計測部155において盗撮用カメラの位置推定が行われる。なお、この方法で行われる位置推定に使用される画像データは、赤外線受光部142から直接送信された画像データ(赤外線画像データ)であってもよいし、画像処理部143内で2値化処理の行われた画像データであってもよい。
すなわち、図23のStep.1において、入力された画像データ内で検出された反射光のピークAの座標を特定する。次に、Step.2において、館内構造情報記憶部155aに記憶された座標と座席との対応表を用いて、上記ピークAがどの座席に該当するかを特定する。
例えば、ピークAの座標が(X,Y)=(63,21)であった場合、座席番号B4に盗撮用カメラが位置していると推定することができる。なお、検出された反射光のピーク領域が大きい場合や、座席の中間地点から反射光ピークが検出された場合には、複数の座席を含む領域を推定位置として出力してもよい。
また、具体例3の変形例として、次のような方法も可能である。図24の(a)および(b)には、具体例3の第1の変形例について説明する模式図を示す。また、図25の(a)および(b)には、具体例3の第2の変形例について説明する模式図を示す。
第1の変形例では、図24の(a)に示すように、Step.2における対応表を用いた座席の推定工程の際に、まず、検出された反射光が観客席の領域に存在するか否かを判定し(S2−1)、観客席以外の領域に存在すると判定された場合(S2−1においてNoの場合)には、盗撮用カメラに該当する反射物はないと判定する。図24の(b)には、このような場合の赤外カメラ入力画像と、座席と画素の座標とを対応させた画像データを示す。
一方、反射光の座標が観客席領域にあると判定された場合(S2−1においてYesの場合)には、図23のStep.2と同様に、館内構造情報記憶部155aに記憶された座標と座席との対応表を用いて、反射光のピークAがどの座席に該当するかを特定する(S2−2)。
第2の変形例では、盗撮カメラに該当する反射光のサイズは、スクリーンと座席との距離に依存して変わることを利用して、「盗撮カメラあり」と判定する反射光のサイズを、座席の位置によって異ならせる。
すなわち、同じ大きさの赤外線除去フィルタであっても、検出される反射光の大きさは、図25の(a)の左側に示すように、スクリーンに近い座席ほど大きくなり(例えば、Aで示す反射光)、スクリーンから遠い座席ほど小さくなる(例えば、Bで示す反射光)。これに基づいて、例えば、図25の(a)の右側に示すように、前列(A列およびB列)では、反射光のサイズのしきい値を7×7画素以上とし、中列(C列およびD列)では、反射光のサイズのしきい値を5×5画素以上とし、後列(E列およびF列)では、反射光のサイズのしきい値を3×3画素以上とする。
この場合、図23のStep.2では、図25の(b)に示す館内構造情報記憶部155bに記憶された座標と座席との対応表を用いて、反射光のピークがどの座席に該当するかを特定する。さらに、館内構造情報記憶部155bに記憶された各しきい値に基づき、各位置に対応するしきい値を満たすサイズの反射光が検出された場合に、「盗撮カメラあり」と判定する。
[第2の実施形態]
上記した実施の形態では、劇場の観客席全体を捉えることのできる広角レンズがカメラの前面に取り付けられた赤外線カメラ205を1台備える構成を例に挙げたが、本発明はこれに限定されない。つまり、本発明では、赤外線カメラ(赤外線検知部)は、劇場の観客席全体を捉えることのできる構成であれば、その構成は特に限定はされない。
図12には、本発明の映像表示システムの他の構成例を示す。図12に示す映像表示システム1bの映像表示スクリーンは、スクリーン203(映像表示部)と、5台の赤外線発光ユニット204a〜204e(非可視光発光部)と、3台の赤外線カメラ205a〜205c(非可視光検知部、赤外線検知部)とで構成されている。
映像表示システム1bの映像表示スクリーンは、図1に示す映像表示システム1の映像表示スクリーンとは、赤外線発光ユニットの構成および配置位置が異なっており、また、赤外線カメラの台数も異なっている。
すなわち、映像表示システム1bでは、5台の赤外線発光ユニット204a〜204eがスクリーンの上端部に沿って並んで配置されている。また、図1に示す映像表示システム1の映像表示スクリーンでは、一つの赤外線発光ユニット204内に複数の発光領域214が設けられている構成であったが、映像表示システム1bでは、1つの赤外線発光ユニットに対して、1つの赤外光発光領域が設けられている。このように5台の赤外線発光ユニットが設けられており、各ユニットが照射領域をそれぞれ分担することで、劇場内の隅々まで所定以上の強度で赤外線を照射することができる。そのため、盗撮者がどの位置でスクリーン上の映像を撮影しても、赤外線除去フィルタが設けられていないビデオカメラであれば、撮影された画像コンテンツ内に妨害画像を含めることができる。なお、5台の赤外線発光ユニット204a〜204eから照射される赤外線の発光強度は、それぞれ異なっていてもよい。また、各赤外線発光ユニット204a〜204eがそれぞれ同じ周期、または、異なる周期で点灯と消灯を繰り返してもよい、
また、映像表示システム1bには、スクリーン203の上部に赤外線カメラ205aが、スクリーン203の向かって右側に赤外線カメラ205bが、スクリーン203の向かって左側に赤外線カメラ205cが、それぞれ設置されている。このように3台の赤外線カメラが設けられていることで、劇場内のそれぞれの領域を分担して監視することができる。そのため、図1に示す映像表示システム1のように、赤外線カメラに広角レンズ141を設けることなく、劇場内のあらゆる観客席における、赤外線除去フィルタを使用したビデオカメラによる盗撮行為を検知することができる。
[第3の実施形態]
本発明のさらに他の実施形態について以下に説明する。第3の実施形態では、第1および第2の実施形態とは異なり、オリジナルの映像を妨害するノイズとしての赤外線を発生する赤外線発光ユニットと、盗撮カメラを検知するための赤外線を発生する赤外線発光ユニットとが異なる構成を有する。
図13は、第3の実施形態にかかる映像表示システムにおけるスクリーン203bの概略構成を示す背面図である。図13に示すように、本実施形態にかかるスクリーン203bは、その背面側に、オリジナルの映像を妨害するノイズとしての赤外線を発生する複数のノイズ用赤外光源304aと、盗撮カメラを検知するための赤外線を発生する複数のカメラ検知用赤外光源304bとを備えている。
ノイズ用赤外光源304aは、例えば、出力1.4Wの赤外LEDである。カメラ検知用赤外光源304bは、例えば、出力0.14Wの砲弾型赤外LEDである。図13の例においては、スクリーン203bの裏面のほぼ中央に、赤外カメラ305が配置されている。ノイズ用赤外光源304aおよびカメラ検知用赤外光源304bの波長は例えば870〜940nm程度である。赤外カメラ305には、可視域カットフィルタ(カットオフ波長870nmの短波長カットフィルタ)を装着することが好ましい。
図13の例においては、カメラ検知用赤外光源304bは、赤外カメラ305をほぼ中心として、縦6個、横6個の合計36個が、正方格子状に等間隔に配置されている。なお、図13の例では、スクリーン203bの裏面に、カメラ検知用赤外光源304bを取り付けるために、2枚の基板306が設けられている。2枚の基板306は、赤外カメラ305を挟んで上下に配置され、カメラ検知用赤外光源304bを貫通させる孔が複数設けられている。すなわち、カメラ検知用赤外光源304bは、2枚の基板306によって、スクリーン203bの裏面に、正方格子状に支持されている。
図13の例においては、ノイズ用赤外光源304aは、縦3列、横3行の合計9個が設けられている。ノイズ用赤外光源304aも、基板306によって支持される。なお、ノイズ用赤外光源304aは、カメラ検知用赤外光源304bに比較すると出力が大きく、発熱量が大きいので、背面に冷却ファンが設けられていることが好ましい。
ノイズ用赤外光源304aおよびカメラ検知用赤外光源304bから出射された赤外光は、スクリーン203bに設けられている音響用の孔を通して、観察者側へ出射される。
ここで、検知対象とする盗撮カメラの赤外線除去フィルタの形状を、一辺の長さdが50mmの正方形フィルタ、または、直径dが50mmの円形フィルタであるものと想定すると、正方格子の配置間隔lsは、前述の式(1)に従い、例えば70mmとすれば良い。
なお、図13に示した例は、あくまでも一実施例であり、赤外光源および赤外カメラの数は、スクリーンサイズ等に応じて任意に設定すれば良い。また、ここでは、カメラ検知用赤外光源304bが正方格子状に配置された例を示したが、第1の実施形態において説明したように、三角格子状に配置された構成としても良い。あるいは、第1の実施形態において説明したように、カメラ検知用赤外光源304bが、スキャナ式ユニットや回転式ユニット等の可動式ユニットに設けられていても良い。また、ノイズ用赤外光源304aが極端に大型でなければ、ノイズ用赤外光源304aも可動式ユニットに設けることも可能である。
ノイズ用赤外光源304aとカメラ検知用赤外光源304bとは独立して制御可能である。ノイズ用赤外光源304aが発光していないタイミングで、カメラ検知用赤外光源304bが発光することが好ましい。赤外カメラ305は、カメラ検知用赤外光源304bが発光するタイミングに合わせて、反射光の検知を行う。赤外線検知部140は、第1の実施形態において説明したとおり、盗撮カメラからの反射光を受光し、画像処理を行う。
[第4の実施形態]
本発明のさらに他の実施形態について、説明する。この第4の実施形態にかかる映像表示システムにおいては、図28に示すように、画像処理部143が、面積計測部155の代わりに、ラベリング処理部255を備えている。そして、図29に示すように、ステップS107の代わりに、ラベリング処理(ステップS207)を行う。
続くステップS108においては、カメラ判定部156は、パターンマッチング処理によって盗撮用カメラの有無を判定する。
ここにおけるラベリング処理とは、2値化処理された画像データにおいて、連結している白表示の画素に同じラベル番号を付ける処理である。この処理によって、連結している白表示の画素で形成された領域の最小座標と最大座標とが得られる。最小座標とは、連結している白表示の画素で形成された領域のうち、座標軸原点に最も近い座標をいう。最大座標とは、前記領域のうち、座標軸原点から最も遠い座標をいう。面積計測部155は、最小座標と最大座標とを結ぶ線を対角線とする長方形を想定し、この長方形に対応する領域のグレースケールデータを、赤外線受光部142から送信された赤外線画像データから抽出する。
そして、パターンマッチング処理とは、ステップS207で行われたラベリング処理の結果をテンプレート画像と対比する処理である。テンプレート画像としては、盗撮用カメラの赤外線除去フィルタからの反射を表す長方形の画像が、1つまたは複数、予め準備されている。カメラ判定部156が、ラベリング処理で抽出された長方形領域のグレースケールデータと、前記のテンプレート画像のデータとをパターンマッチング演算することにより、当該領域内に盗撮用カメラの赤外線除去フィルタからの反射を表す画像が存在するか否かが判断される。
なお、テンプレート画像を、ラベリング処理で抽出された長方形領域のグレースケールデータとパターンマッチングさせる際の演算としては、例えば、輝度差の絶対値の総和を求める方法、輝度差の二乗和を求める方法、または、正規化相互相関関数による方法、などがあるが、これらにのみ限定されない。また、ここでは、グレースケールデータを抽出する領域(すなわち後述するパターンマッチング処理の対象となる領域)およびテンプレート画像が長方形である例を説明したが、これに限定されず、円形または三角形等の所定の形状の領域とすることが可能である。
なお、リファレンス画像データに基づいて、判断不要領域を画像データから取り除くためのマスク画像を作成し、ステップS207のラベリング処理の前に、2値化処理を経た画像と前記マスク画像との積をとることも好ましい。判断不要領域とは、例えば、赤外線カメラによる撮影領域のうち、盗撮用カメラが存在し得ない領域等をいう。マスク画像においては、判断不要領域の階調値を例えば0とすれば良い。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、ここで開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。