JP2011120233A - ３ｄ映像特殊効果装置、３ｄ映像特殊効果方法、および、３ｄ映像特殊効果プログラム - Google Patents

Abstract

【課題】特殊効果にかかる画質の劣化を従来よりも抑制することができる３Ｄ映像特殊効果装置の提供。
【解決手段】第１映像において特殊効果を施す指定範囲の入力を受け付ける範囲指定受付部と、指定範囲を複数の第１映像ブロックに分割する第１ブロック分割部と、複数の第１映像ブロックのそれぞれに特殊効果を施す第１特殊効果部と、複数の第１映像ブロックのそれぞれについて、当該第１映像ブロックの画像に対応する画像を第２映像から求め、該第１映像ブロックと該対応する画像との視差の方向および大きさを示す視差ベクトルを求めるブロックマッチング部と、第２映像から、複数の第１映像ブロックのそれぞれに対応する複数の第２映像ブロックを視差ベクトルにもとづいて決定する第２ブロック分割部と、決定した複数の第２映像ブロックのそれぞれに特殊効果を施す第２特殊効果部と、を有する３Ｄ映像特殊効果装置。
【選択図】図４

Description

技術分野は、映像に特殊効果を施す特殊効果装置に関し、特に、３Ｄ映像に特殊効果を施す３Ｄ映像特殊効果装置に関する。

近年、３Ｄ映像に関連した技術に注目が集まっている。３Ｄ映像とは立体視可能な映像を指し、例えば、３Ｄ映像は、同期撮影された左目用の映像および右目用の映像（以下、「左目映像」、「右目映像」とも称する。）を基に生成されたステレオ映像である。通常、左目映像と右目映像には、ヒトの両眼の視差に対応する視差が含まれる。

実際、３Ｄ映像を表示するための装置や、観察者に３Ｄ映像を視聴させる方法について、様々な提案がなされている。それらはいずれも、左目映像と右目映像の視差により、観察者に映像の奥行き感を認識させる、という基本原理に基づいている。従って、３Ｄ映像の品質にとって、左目映像と右目映像の視差に、映像制作者が意図した奥行き感が正しく反映されていることは極めて重要なファクタである。このような品質決定要因は、従来の２Ｄ映像には存在しなかった要因である。

また、３Ｄ映像を使用したコンテンツの本格的な普及を図る上では、撮像装置、再生装置、表示装置の開発のみならず、３Ｄ映像の編集に適した編集装置の開発も重要である。編集装置においては、３Ｄ映像制作者の意図に応じて、単純なカットつなぎから様々な特殊効果まで、効率よく実行できることが望まれる。加えて、上述した理由により、３Ｄ映像の編集装置においては、編集後の３Ｄ映像において原３Ｄ映像の立体感（奥行き感）を精度良く保持することが望まれる。立体感を保持するには、原３Ｄ映像の左目映像と右目映像の視差を編集後においても正しく保持することが重要である。

特許文献１は、３Ｄ映像に対し特殊効果としてモザイク処理（mosaic processing、pixelization）を施す３Ｄ映像特殊効果装置を開示する。特許文献１に記載の３Ｄ映像特殊効果装置は、原３Ｄ映像の左目映像または右目映像についてモザイク処理を施すべき領域（指定領域）の入力を受けると、当該指定領域の中央部分の画像に基づいて、原３Ｄ映像の右目映像または左目映像においてモザイク処理を施すべき領域（検出領域）を検出し、指定領域および検出領域に対しモザイク処理を実行する。

特開２００２−２７１８１６号公報

一般に、３Ｄ映像には複数の被写体等（アニメーション、文字等を含む。）が含まれ、各被写体の奥行き感（デプス）はそれぞれ異なる。また、言うまでもなく、一の被写体において奥行き感が変化する場合もある。そのため、左目映像および右目映像には、視差の方向および大きさが異なる小領域が不規則に混在する。

しかしながら、従来の３Ｄ映像特殊効果装置は、特殊効果を施すべき領域が、視差の大きさや方向が異なる複数の小領域で構成される場合であっても、そのような小領域間の視差の差違に対する考慮が十分ではなかった。そのため、従来の３Ｄ映像特殊効果装置においては、特集効果処理前後において映像中の所定の小領域の奥行き感が変化したり、左目映像内の小領域と当該小領域に対応する右目映像内の小領域との間の色合い・輝度等の色情報の対応関係が崩れたりすることがあった。

上記課題を鑑み、特殊効果にかかる３Ｄ映像の画質の劣化を従来よりも抑制することができる３Ｄ映像特殊効果装置を提供する。

一態様は、視差を有する第１映像および第２映像を含んで構成される３Ｄ映像に特殊効果を施す３Ｄ映像特殊効果装置であって、第１映像において特殊効果を施す指定範囲の入力を受け付ける範囲指定受付部と、指定範囲を複数の第１映像ブロックに分割する第１ブロック分割部と、複数の第１映像ブロックのそれぞれに特殊効果を施す第１特殊効果部と、複数の第１映像ブロックのそれぞれについて、当該第１映像ブロックの画像に対応する画像を第２映像から求め、該第１映像ブロックと該対応する画像との視差の方向および大きさを示す視差ベクトルを求めるブロックマッチング部と、第２映像から、複数の第１映像ブロックのそれぞれに対応する複数の第２映像ブロックを視差ベクトルにもとづいて決定する第２ブロック分割部と、決定した複数の第２映像ブロックのそれぞれに特殊効果を施す第２特殊効果部と、を有する３Ｄ映像特殊効果装置である。

一態様においては、ブロックマッチング部は、第２映像の部分領域に対して水平方向にのみブロックマッチングを行うことが好ましい。

一態様においては、ブロックマッチング部が求める視差ベクトルは、一画素単位の精度を有することが好ましい。

一態様においては、第２特殊効果部は、視差ベクトルの方向および大きさに基づいて複数の第２映像ブロックそれぞれの３Ｄ映像におけるデプスを判定するデプス判定部と、デプスに基づいて、複数の第２映像ブロックそれぞれに特殊効果を行う順序を決定する順序決定部と、順序にしたがって複数の第２映像ブロックそれぞれに特殊効果を施す第２特殊効果処理部と、を備えることが好ましい。

一態様においては、特殊効果は、モザイク処理であることが好ましい。

一態様においては、特殊効果は、コントラスト調整処理であることが好ましい。

別の一態様は、視差を有する第１映像および第２映像を含んで構成される３Ｄ映像に特殊効果を施す３Ｄ映像特殊効果方法であって、第１映像において特殊効果を施す指定範囲の入力を受け付けるステップと、指定範囲を複数の第１映像ブロックに分割するステップと、複数の第１映像ブロックのそれぞれに特殊効果を施すステップと、複数の第１映像ブロックのそれぞれについて、当該第１映像ブロックの画像に対応する画像を第２映像から求め、該第１映像ブロックと該対応する画像との視差の方向および大きさを示す視差ベクトルを求めるステップと、第２映像から、複数の第１映像ブロックのそれぞれに対応する複数の第２映像ブロックを視差ベクトルにもとづいて決定するステップと、決定した複数の第２映像ブロックのそれぞれに特殊効果を施すステップと、を有する３Ｄ映像特殊効果方法である。

さらに別の一態様は、視差を有する第１映像および第２映像を含んで構成される３Ｄ映像に特殊効果を施す３Ｄ映像特殊効果装置のコンピュータに、第１映像において特殊効果を施す指定範囲の入力を受け付けるステップと、指定範囲を複数の第１映像ブロックに分割するステップと、複数の第１映像ブロックのそれぞれに特殊効果を施すステップと、複数の第１映像ブロックのそれぞれについて、当該第１映像ブロックの画像に対応する画像を第２映像から求め、該第１映像ブロックと該対応する画像との視差の方向および大きさを示す視差ベクトルを求めるステップと、第２映像から、複数の第１映像ブロックのそれぞれに対応する複数の第２映像ブロックを視差ベクトルにもとづいて決定するステップと、決定した複数の第２映像ブロックのそれぞれに特殊効果を施すステップと、を実行させるための３Ｄ映像特殊効果プログラムである。

本３Ｄ映像特殊効果装置は、特殊効果にかかる３Ｄ映像の品質の劣化を従来よりも抑制することができる。

３Ｄ映像の原理を示す図 ３Ｄ映像を構成する左目映像（ａ）、および、右目映像（ｂ）の例 フレームに対して固定されたグリッド（固定グリッド）による左目映像の指定範囲のブロック化の例（ａ）、左目映像と同一の固定グリッドによる右目映像の対応範囲のブロック化の例（ｂ）、左目映像の指定範囲のブロック化の例（ｃ）、および、左目映像のブロックに対する視差を適応したグリッド（視差適応グリッド）による右目映像の対応範囲のブロック化の例（ｄ） 実施形態による３Ｄ映像特殊効果装置のブロック図 ３Ｄ映像特殊効果装置の第２特殊効果部の詳細ブロック図 ３Ｄ映像特殊効果装置が行う処理のフローチャート 左目映像（第１映像）の指定範囲のブロック分割処理の例（ａ）、左目映像（第１映像）のブロックの、右目映像（第２映像）に対するブロックマッチング処理の例（ｂ）、および、視差適応グリッドによる右目映像（第２映像）の対応範囲のブロック化の例（ｃ） 処理済３Ｄ映像の左目映像（第１映像）（ａ）、および、右目映像（第２映像）（ｂ）

以下、添付の図面を参照して実施形態を詳細に説明する。

（概要）
以下に示す実施形態は、３Ｄ映像に適した３Ｄ映像特殊効果装置である。以下においては、３Ｄ映像特殊効果装置を「特殊効果装置」と略して記す。なお、特殊効果には、撮影時に処理する特殊効果（Special Effests, SpFX）および撮影後に処理する視覚効果（Visual Effects, VFX）が含まれる。

本特殊効果装置は、適切な奥行き感を持った特殊効果を３Ｄ映像に対して簡便に付与することができる特殊効果装置である。ここで、適切な奥行き感とは、原３Ｄ映像の奥行き感が正しく反映されていることを意味し、また、操作者の任意により、特殊効果によって原３Ｄ映像の奥行き感が恣意的に変更される場合においては、操作者の意図した奥行き感をも含む。

本特殊効果装置は、操作者等が、３Ｄ映像を構成する左目映像および右目映像のいずれか一方の映像（第１映像）に対し、特殊効果を施すべき範囲（指定範囲）を指定することにより、他方の映像（第２映像）において特殊効果を施すべき範囲（対応範囲）を自動的に決定し、左目映像および右目映像の両映像に特殊効果を施し、特殊効果が施された３Ｄ映像を出力することができる。当該対応範囲の決定に際し、本特殊効果装置は、第１映像の指定範囲に含まれる映像の内容に基づいて、当該映像の内容に付された視差を検出し、検出した視差の大きさおよび方向に基づいて当該指定範囲に対応する第２の映像の範囲を検出し、対応範囲を決定する。そうすることで、指定範囲と対応範囲との視差が、原３Ｄ映像の視差をよく反映するようになる。そして、指定範囲および対応範囲に対して特殊効果を施すことにより、適切な奥行き感を持った特殊効果が実現される。

そのようにして、本特殊効果装置は、特殊効果が施された領域において、特殊効果により原３Ｄ映像の奥行き感が意図せずに消失して平面的な画像領域となってしまったり、特殊効果により奥行き感が意図せずに変化して空間認知が困難な不自然な映像に成ってしまったりすることを抑制する。これにより、原３Ｄ映像の映像品質を損なわずに特殊効果を３Ｄ映像に付けることができ、映像品質の点、および、視聴者の健康保護の点において、顕著な効果が奏せられる。

（実施の形態１）
１．３Ｄ映像の原理
図１は、３Ｄ映像の撮影に用いられるカメラセッティングの模式図である。ヒトの左右両眼が有する視差は、左目映像用カメラ１０１Ｌ、および、右目映像用カメラ１０１Ｒの設置間隔Ｌと、左目および右目映像用カメラ１０１Ｌおよび１０１Ｒの輻輳角θによって模擬される。なお、輻輳角θとは、左目および右目映像用カメラ１０１ＬおよびＲの光軸がなす角である。

ヒト（成人）の左右両眼の間隔は、平均的に６５ｍｍあるとされる。そこで、設置間隔Ｌは、一般的に、６５ｍｍとされる。設置間隔Ｌおよび輻輳角θにより、左目および右目映像用カメラ１０１Ｌおよび１０１Ｒから基準面までの距離Ｄは決定される。

基準面上にある被写体１０２については、３Ｄ映像の左目映像および右目映像の視差はゼロとなり、被写体が基準面から離れるにつれ、３Ｄ映像における視差の大きさは単調に増大する。本図において、３Ｄ映像における被写体２０１ｃの視差の大きさは、被写体２０１ａおよび２０１ｂの視差の大きさよりも大きい。また、３Ｄ映像における被写体の視差の方向は、基準面を境に逆転する。本図においては、３Ｄ映像における被写体２０１ａの視差の方向は、被写体２０１ｂおよび２０１ｃの視差の方向と逆向きであり、被写体２０１ｂおよび２０１ｃの視差の方向は、同一である。３Ｄ映像においては、複数の被写体の視差の方向および大きさが、それぞれ異なることにより、各被写体の奥行き感（デプス）を異ならせて、観察者に認知させる。

図２は、図１のような構成で撮影された３Ｄ映像の例を示す図である。左目映像用カメラ１０１Ｌおよび右目映像用カメラ１０１Ｒ間で同期をとって撮影すると、左目映像用カメラ１０１Ｌにより左目用映像３０１Ｌが撮影されるとともに、右目映像用カメラ１０１Ｒにより右目用映像３０１Ｒが撮影される。両映像３０１Ｌおよび３０１Ｒには、被写体１０２、２０１ａ、および、２０１ｂが写り込んでいるが、両映像は、ヒトの左右両眼の視差に相当する視差がある。観察者の左目に対し左目映像３０１Ｌを提示するとともに右目に対し右目映像３０１Ｒを提示することにより、立体視可能な映像（３Ｄ映像）の表示が実現される。

２．特殊効果
図３は、３Ｄ映像に対する特殊効果処理について説明する例図である。ここでは、特殊効果の例として、モザイク処理（mosaic processing、pixelization）を挙げる。

モザイク処理は、画像中の一定領域に含まれる色情報にもとづき、一定領域を一定の色で塗りつぶす処理である。一定の色には、一定領域に含まれる色の平均値、代表値等が用いられる。モザイク処理により、画像の解像度が低下される。一定領域（ブロック）のサイズの選択は任意である。ブロックのサイズを小さく設定すれば、モザイク処理された画像の解像度低下の程度は小さく、ブロックのサイズを大きく設定すれば、モザイク処理された画像の解像度は大きく低下する。

先ず、図３（ａ）および（ｂ）を参照し、従来のモザイク処理を説明する。図３（ａ）は、原３Ｄ映像の左目映像３０１Ｌを示す図である。操作者は、左目映像３０１Ｌに対し、特殊効果を施す範囲４０１Ｌを指定する。すると、所定のグリッド（破線）に従って指定範囲が複数のブロックに分割され、各ブロックについてモザイク処理が行われる。図３（ｂ）は、図３（ａ）の左目映像３０１Ｌに対応する右目映像３０１Ｒを示す図である。右目映像３０１Ｒについては、左目映像のグリッドと同一のグリッド（固定グリッド）に従って対応範囲４０１Ｒが複数のブロックに分割され、各ブロックについてモザイク処理が行われる。対応範囲４０１Ｒの決定は、操作者が手動で行ってもよいし、あるいは、特殊効果装置が自動的に決定してもよい。上記決定を操作者が手動で行う場合には、特殊効果装置は、２Ｄ映像用の特殊効果装置を利用することも可能である。

そのため、特殊効果処理済の３Ｄ映像において、（固定グリッドによる）対応範囲４０１Ｒは、左端において視差４５１を有し、右端において視差４５３を有することになる。視差４５１は、観察者にとって基準面からさらに遠ざかる奥行き感として感じられ、視差４５３は、観察者にとって基準面より近い奥行き感として感じられる。この処理例では、左目映像３０１Ｌおよび右目映像３０１Ｒにおいて、同一のグリッドを用いて指定範囲および対応範囲がブロック分割されるため、原３Ｄ映像において被写体が有した視差が十分に反映されない。そのため、特殊効果処理済の３Ｄ映像においては、特殊効果を施した範囲で立体感が失われたり、特殊効果を施した範囲と特殊効果が施されていない範囲との整合性が劣化したりすることにより、特殊効果を施した範囲の奥行き感が操作者の意図と無関係に変化してしまう。

また、図３（ａ）および（ｂ）における領域４０３Ｌおよび４０３Ｒに注目すれば、ブロックの数が異なっていることがわかる。このため、左目映像と右目映像との間でブロックの対応関係が崩れ、観察者にとって立体視することが困難な映像となるおそれがある。仮に、左右の両映像においてブロックの数を同一に保つとすれば、左右の両映像において、ブロック分割のグリッドが同一であるため、ブロックの境界および大きさが同一となり、特殊効果が施される範囲に含まれる被写体の対応関係が崩れてしまう。そのため、左右の両映像において対応関係にあるブロックに含まれる色情報は、互いに異なり、モザイク処理で塗りつぶされる色が左右の両映像において対応するブロック同士で異なることになる。この場合もまた、観察者にとって立体視することが困難な映像となるおそれがある。

そこで、本実施の形態においては、図３（ｃ）および（ｄ）に例示するように、操作者が左目映像３０１Ｌに対して指定した範囲４０１Ｌを所定の形状および大きさを有する複数のブロックに分割した後、指定範囲４０１Ｌの各ブロックについて、右目映像３０１Ｒ中から対応するブロックをブロックマッチングによって検出し、ブロック単位で、特殊効果処理を行う範囲を右目映像３０１Ｒについて決定する。その結果、右目映像３０１Ｒにおいては、左目映像３０１Ｌの指定範囲４０１Ｌに対応する範囲が、（視差適応グリッドによる）対応範囲４０５Ｒとして決定される。

このようにして指定範囲４０１Ｌおよび対応範囲４０５Ｒが決定されることにより、特殊効果処理済の３Ｄ映像において、特殊効果が施された範囲は、左端において視差４５５を有し、右端において視差４５７を有することとなり、対応範囲４０５Ｒは、その範囲全体として、指定範囲４０１Ｌに対する視差が正しく反映された範囲になる。そのため、特殊効果処理済の３Ｄ映像においても、特殊効果を施した範囲において、原３Ｄ映像における奥行き感が保持される。また、左目映像３０１Ｌのブロックそれぞれに対応する右目映像３０１Ｒ中のブロックは、各ブロックについてブロックマッチングによって決定されるため、左右両映像において互いに対応するブロックの色合い・輝度等の色情情報は、よく一致する。よって、図３（ｃ）および（ｄ）の例においては、モザイク処理で塗りつぶされる色が左右の両映像において対応するブロック同士でよく整合する。そのため、特殊効果処理済の３Ｄ映像において、特殊効果が施された範囲の奥行き感および左右両映像の対応関係は、良好に保たれる。

３．特殊効果装置の構成
図４は、本実施形態による特殊効果装置の構成を示すブロック図である。以下の説明においては、３Ｄ映像の左目映像および右目映像をそれぞれ、第１映像および第２映像とするが、逆であってもかまわない。

特殊効果装置１０は、第１映像における特殊効果を施す範囲の指定を受け付ける範囲指定受付部１１と、第１映像の当該指定範囲を複数のブロックに分割する第１ブロック分割部１３と、第１映像の指定範囲に対して特殊効果を施す第１特殊効果部１７と、第１映像の各ブロックについて第２映像とのブロックマッチングを行い、ブロックに対応する第２映像中の画像領域を検出し後述する視差ベクトルを求めるブロックマッチング部１５と、視差ベクトルに基づいて第２映像を第１映像のブロックに対応するブロック（対応ブロック）で分割する第２ブロック分割部１９と、対応ブロックで構成される対応範囲に対して特殊効果を施す第２特殊効果部２１と、を備える。

範囲指定受付部１１は、範囲の指定を受け付けると、指定された範囲の情報、例えば、第１映像の座標、を効果範囲指定データとして第１ブロック分割部１３へ出力する。

第１ブロック分割部１３は、効果範囲指定データおよび第１映像データを入力し、第１映像の指定範囲を、所定の形状、例えば、矩形、のブロックで分割する。なお、ブロック分割は、所定の形状でなくとも、指定範囲に含まれる被写体の形状を、エッジ検出等により求め、被写体の形状に沿った形状のブロックで分割してもよい。また、被写体の形状を有するブロック内をさらに所定形状のブロックで分割してもよい。第１ブロック分割部１３は、ブロック分割の結果を、第１特殊効果部１７およびブロックマッチング部１５へ出力する。ここでのブロック分割の結果は、ブロック境界の座標等が示されたブロック座標データであるが、これに限定されない。第１特殊効果部１７に対しては、さらに、第１映像のデータが送られる。また、ブロックマッチング部１５に対しては、第１映像の各ブロックの画像がブロック画像データとして送られる。

ブロックマッチング部１５は、第１映像の各ブロックの画像について、第２映像（参照画像）とのブロックマッチングを行い、第１映像の各ブロックに対応する第２映像中の画像領域（対応ブロック）を検出し、第１映像のブロックと当該対応ブロックとの隔たりを視差ベクトルデータとして第２ブロック分割部１９および第２特殊効果部２１へ出力する。視差ベクトルデータは、第１映像のブロックの位置ベクトルおよび第２映像の対応ブロックの位置ベクトルで構成されてよい。あるいは、第１映像のブロックの位置ベクトルと第２映像の対応ブロックの位置ベクトルの差に等しいベクトルであってもよい。

第２ブロック分割部１９は、視差ベクトルデータにもとづいて、第２映像を第１映像の各ブロックに対応するブロック（対応ブロック）で分割する。第２ブロック分割部１９は、ブロック分割の結果を、第２特殊効果部２１へ出力する。ここでのブロック分割の結果は、ブロック境界の座標等が示されたブロック座標データであるが、これに限定されない。第２特殊効果部２１に対しては、さらに、第２映像のデータが送られる。なお、第２ブロック分割部１９は、さらに、第１映像にかかるブロック座標データを第１ブロック分割部１３から受け取って、視差ベクトルおよび第１映像にかかるブロック座標データにもとづいて第２映像を対応ブロックで分割してもよい。

第２特殊効果部２１は、第２映像データおよび第２映像の対応ブロックにかかるブロック座標データならびに視差ベクトルデータを入力し、対応ブロックで構成される範囲（対応範囲）に対し特殊効果処理を実行し、処理済第２映像データを出力する。第２特殊効果部２１の構成については、図５を参照し、さらに詳細に説明する。

図５は、第２特殊効果部２１の詳細を示すブロック図である。

デプス判定部２１ａは、視差ベクトルデータに基づいて、第２映像の各対応ブロックのデプス量（３Ｄ映像における奥行き方向の定位）を判定する。より具体的には、デプス判定部２１ａは、視差ベクトルの方向および大きさに基づいて、第２映像の各対応ブロックのデプスを求める。

処理順序決定部２１ｂは、第２映像の各対応ブロックのデプス量に基づいて、第２映像の複数の対応ブロック間における特殊効果処理の実施順序を決定する。より具体的には、処理順序決定部２１ｂは、第２映像の各対応ブロックのデプス量に基づいて、３Ｄ映像において観察者からより遠方に存在するように認識される対応ブロックから観察者の近くに存在されるように認識される対応ブロックに向かって順番に処理されるように各対応ブロックの処理順序を決定する。こうすることで、第２映像において対応ブロックが重なり合う部分がある場合に、観察者からより遠方に定位される対応ブロックに対する特殊効果は、観察者に対してより近くに定位される対応ブロックに対する特殊効果により上書きされ、隠される。

第２特殊効果処理部２１ｃは、処理順序に従って、第２映像の各対応ブロックに特殊効果処理を施すことにより、対応ブロックで構成される対応範囲に対し特殊効果処理を実行し、処理済第２映像データを出力する。

なお、第１特殊効果部１７は、従来の特殊効果装置の特殊効果処理部と同等の機能を有せばよい。第１特殊効果部１７の第１特殊効果処理部１７ａは、指定範囲に対し特殊効果処理を実行し、処理済第１映像データを出力する。

４．特殊効果処理フロー
以下、図６乃至図８を参照し、本実施の形態による特殊効果装置１０による処理の流れを説明する。図６は、ブロックマッチング部１５、第２ブロック分割部１９、および、第２特殊効果部２１がする処理についてのフローチャートである。図７は、左目映像３０１Ｌの指定範囲のブロック分割の例（ａ）、ならびに、指定範囲の各ブロックについての第２映像とのブロックマッチングにより決定される視差ベクトルおよび第２映像中の対応ブロックの例を示す図である。

特殊効果装置１０は、第１映像に対し特殊効果を施す範囲の指定を受け付けると、指定範囲について、ブロック分割を行う。図７（ａ）においては、破線矩形領域が指定範囲である。指定範囲は、より小さな矩形のブロックに分割される。

次に、ブロックマッチング部１５は、第１映像の指定範囲の各ブロックについて、第２映像とのブロックマッチングを行う。ブロックマッチング部１５は、第１映像の指定範囲の各ブロックについて、右目映像の映像上で最もマッチングのよい位置を探索する。ブロックマッチングにはいくつかの方法が考えられるが、例えば、ブロック内の全ての画素で差分の絶対値和（ＳＡＤ）を計算し、その値を用いてブロックマッチングを行うことができる。ＳＡＤが最小になる位置がマッチング位置である。ブロックマッチング部１５は、第１映像のブロックの位置とマッチング位置とを基準として、第１映像のブロックに対応する第２映像対応ブロックの視差ベクトルを決定する。視差ベクトルは、第１映像のブロックの位置に関する位置ベクトルとマッチング位置（対応ブロックの位置）に関する位置ベクトルの差に基づいて決定されてよい。（ステップＳ１１）

ブロックマッチング部１５は、一画素精度のブロックマッチングを行って、一画素単位の精度を有する視差ベクトルを出力してよい。

視差ベクトルの方向は、対応ブロック６１Ｒの画像が３Ｄ映像において定位される奥行き方向位置が基準面よりも観察者側にあるか否か、と一対一対応する。視差ベクトルの大きさは、対応ブロック６１Ｒの画像が３Ｄ映像において定位される奥行き方向位置と基準面との隔たりの大きさと一対一対応する。このようにして決定された第２映像の対応ブロックは、それぞれが、対応する第１映像のブロックと最もマッチングの良いブロックであり、各ブロックの視差は、第２映像の対応ブロックの位置に十分に反映されている。

例えば、第１映像のブロック６１Ｌ（図７（ａ））にかかる第２映像対応ブロックが、ブロックマッチングにより、図３（ｂ）のように対応ブロック６１Ｒに決定されると、ブロック６１Ｌを基準とした対応ブロック６１Ｒにかかる視差ベクトルは、ベクトルｐｖ１のような方向および大きさに決定される。同様、第１映像のブロック６２Ｌおよびブロック６３Ｌにかかる第２映像対応ブロックが、ブロックマッチングにより、対応ブロック６２Ｒおよび６３Ｒに決定されると、ブロック６２Ｌおよび６３Ｌを基準とした対応ブロック６２Ｒおよび６３Ｒにかかる視差ベクトルは、それぞれ、ベクトルｐｖ２およびｐｖ３のように決定される。全ての第２映像対応ブロックおよびそれらにかかる視差ベクトルが決定されると、第２映像における特殊効果範囲（対応範囲）が決定する。図７（ｃ）は、第２映像の対応範囲４０５Ｒを示す図である。このように、対応範囲４０５Ｒにおいては、対応ブロック毎に視差が異なる場合に対応ブロック同士が少なくとも部分的に重なり合う部分が生じうる。第２ブロック分割部１９は、ブロックマッチングの結果に基づき、第２映像対応ブロックの座標データを求め、第２映像対応ブロックの画像データや座標データを第２特殊効果部２１へ出力する。

なお、第１映像の各ブロックについての第２映像に対するブロックマッチングは、注目している第１映像のブロックが位置する鉛直方向位置と同じ鉛直方向位置における第２映像に対するブロックマッチングのみで十分であり、第２映像全体についてブロックマッチングを行わずともよい。よって、ブロックマッチングは水平方向のみで必要十分である。従い、ブロックマッチングは、注目している第１映像のブロックを水平方向にシフトさせながら、ＳＡＤが最小になる位置を探索するだけで十分である。この場合、視差ベクトルは、１次元のベクトル量（正または負のスカラ量）として扱うことが可能になる。よって、この場合、計算資源の大幅な節約が可能になる。

第１映像の全ブロックについてブロックマッチングが行われれば（ステップＳ１２における「ＹＥＳ」）、処理は、ステップＳ１３へ移行する。

第２特殊効果部２１のデプス判定部２１ａは、第２映像の各対応ブロックにかかる視差ベクトルの方向および大きさに基づき、各対応ブロックのデプスを求める。（ステップＳ１３）

第２特殊効果部２１の処理順序決定部２１ｂは、各対応ブロックのデプスに基づいて、３Ｄ映像において観察者に対してより遠い位置に定位される対応ブロックが先に特殊効果処理されるように、対応ブロックの特殊効果処理順序を決定する。（ステップＳ１４）

第２特殊効果部２１の第２特殊効果処理部２１ｃは、特殊効果処理順序に従って、第２映像の各対応ブロックの画像に対して特殊効果を施し、そのようにして得た画像を、第２映像中における当該対応ブロックの位置において第２映像に上書きする。（ステップＳ１５）

このように、第２特殊効果部２１においては、デプスが深い（より遠くに見える）対応ブロックから先に特殊効果処理され、得られた特殊効果画像は第２映像に順次上書きされるため、対応ブロック同士に重複がある場合であっても、重複部分においては、よりデプスが浅い（より近くに見える）対応ブロックにかかる特殊効果画像によって、相対的にデプスがより深い対応ブロックにかかる特殊効果画像はマスクされる。

第１特殊効果部１７は、一般的な特殊効果処理に基づき、第１映像の指定範囲に対して特殊効果を施し、特殊効果処理済の第１映像を出力する。

図８は、上述のようにして得られる特殊効果済の３Ｄ映像の例を示す図である。図８（ａ）は、第１映像の指定範囲に対して特殊効果が施された左目映像３０１ＬＰの例を示した図であり、図８（ｂ）は、第２映像の対応範囲に対して特殊効果が施された右目映像３０１ＲＰの例を示した図である。このように、第１映像（左目映像）においては、指定範囲に対して特殊効果ＦＸＬが施され、第２映像（右目映像）においては、対応範囲に対して特殊効果ＦＸＲが施される。

このように、本実施形態による特殊効果装置においては、３Ｄ映像を構成する左目映像および右目映像において特殊効果（モザイク処理）される範囲は、原３Ｄ映像中のその範囲における視差に対応される。そのため、特殊効果が施される範囲の奥行き感は、原３Ｄ映像の奥行き感と同じになり、違和感のない自然な３Ｄモザイク処理を施すことが可能となる。また、被写体表面に微小な凹凸がある場合であっても、そのような微小な凹凸形状も特殊効果のブロック分割に反映される。

また、３Ｄ映像中、特殊効果を施す範囲に互いに奥行き感の異なるブロックが含まれるような場合であっても、本特殊効果装置は、ブロック単位で視差を変えて特殊効果処理を実行するため、立体感のある特殊効果を実現することができる。また、ブロック同士が重複するような場合であっても、３Ｄ映像において遠方に定位されるブロックから順に特殊効果処理されるため、自然な立体感を実現することができる。また、モザイク処理等の特殊効果においては、各ブロックの色情報に基づいて各ブロックの処理が決定されるが、本特殊効果装置においては、ブロック単位でブロックマッチングを行って処理範囲を決定するため、左右の両映像の互いに対応するブロックの色合い・輝度といった色情報は、非常によく一致され、もって、観察者に違和感を覚えさせない特殊効果処理が実現される。

なお、実施の形態１では第１の映像が左目の映像、第２の映像が右目の映像と対応させて説明したが、左右の映像が逆であっても処理の流れに変わりはない。また、特殊効果としてモザイク処理を例に説明したが、特殊効果はモザイクに限定されるものではない。例えば、各種のフィルタ処理であってもよいし、クロマキ合成であってもよい。クロマキ合成においては、例えば、ブロック毎にクロマキ合成のスレッショルドを変えて処理することができ、より完成度の高い３Ｄクロマキ合成処理が実現可能である。

（実施の形態２）
実施の形態２では、３Ｄ映像に対し、特殊効果として部分的なコントラスト調整を行う特殊効果装置を説明する。実施の形態２による特殊効果装置の構成は、第１および第２の特殊効果処理部（１７ａ、２１ｃ）が行う特殊効果処理の内容を除いて実施の形態１と実質上同一でよいため、説明を適宜省略する。

３Ｄ映像においても、映像中の特定の範囲のみについてそのコントラストを調整することがある。そのために、例えば、特定の範囲をさらに複数ブロックに分割し、各ブロック内の画素に対してコントラスト調整処理が施される。これにより、例えば、逆光のために顔の部分が暗く写った人物映像において、顔の部分のみをより明るくするような調整が可能になる。

従来、３Ｄ映像の特定の範囲にコントラスト調整処理を行うため、左目および右目の両映像それぞれを別々に２Ｄ映像用の編集装置でコントラスト調整処理することがあった。しかしながら、従来の２Ｄ編集装置では、コントラスト調整処理を行う範囲、および、当該範囲をさらに小さく分割したブロックについて、左目および右目の両映像の対応をとることができず、コントラスト調整処理された部分の奥行き感が変化して、原３Ｄ映像の立体感が損なわれることがあった。

そこで本実施の形態２による特殊効果装置では、実施の形態１による特殊効果装置と同様の手法により、左右の視差をコントラスト調整処理のブロック位置に反映させる。そうすることで、原３Ｄ映像の立体感を損なわずに、部分的にコントラスト調整された３Ｄ映像を生成する。

操作者は、第１の映像について、コントラスト調整処理すべき範囲を指定する。コントラスト調整処理すべき範囲の指定は、例えば操作者が表示装置に表示された第１映像を参照して表示装置の画面上で特定の範囲を指定することにより行えばよい。

第１ブロック分割部１３は、第１映像の指定範囲を所定のブロックサイズで、複数のブロックに分割する。第１映像については、ブロック分割は、左目の映像の一端から一定間隔で設けられた固定グリッドに沿って行ってよい。第１映像については、第１特殊効果部１７がコントラスト調整を行えばよい。

ブロックマッチング部１５は、第１映像の各ブロックについて、第２映像（右目映像）上で最もマッチングのよい位置を探索する。

第２ブロック分割部１９は、視差ベクトル等に基づいて第２映像をブロック分割する。

第２特殊効果部２１は、実施の形態１で説明したようにして、第２映像の各ブロックにコントラスト調整処理を施す。

このようにして、３Ｄ映像を構成する左目映像および右目映像の視差を、コントラスト調整処理のブロック分割位置に反映させることにより、左目映像および右目映像内でコントラスト調整処理された部分画像の３次元的な位置（奥行き感）は、原３Ｄ映像における奥行き感と同じになり、違和感のない自然な３Ｄコントラスト調整処理を施すことが可能となる。

なお、実施の形態２では第１の映像が左目の映像、第２の映像が右目の映像と対応させて説明したが、左右の映像が逆であっても処理の流れに変わりはない。また、特殊効果としてコントラスト調整処理を例に説明したが、特殊効果はコントラスト調整に限定されるものではない。例えば、輝度調整であってもよいし、色補正であってもよい。

（実施の形態１および２のまとめ）
実施の形態１および２による特殊効果装置によれば、３Ｄ映像を構成する一方の映像において特殊効果が施される範囲を基準として他方の映像に特殊効果が施される範囲を、原３Ｄ映像における視差を保持するようにして自動的に決定可能である。そのため、原３Ｄ映像の立体感を損なわない自然な３Ｄ特殊効果を提供することができる。また、特殊効果を適用する範囲を片方の映像に対して指定するだけで自動的にもう片方の映像にも処理を施すことが可能になるため編集作業の省力化が可能になる。

また、特殊効果としては、主としてモザイク処理およびコントラスト調整処理を例に挙げて説明したが、その他に、特殊効果として、デジタルリムーバル（Digital Removal）、左目映像用カメラ１０１Ｌおよび右目映像用カメラ１０１Ｒの個体差による左目および右目の両映像の差違（色味、色相、輝度等の差違）の較正（キャリブレーション）等の処理も含まれる。

また、本特殊効果装置は、撮影後の３Ｄ映像データに対する編集装置のような形態に限定されない。本特殊効果装置は、３Ｄ映像を撮影する撮像装置に組み込まれてもよい。

また、本特殊効果装置は、コンピュータ、および、コンピュータに対する命令群で構成されるコンピュータプログラムによって実現されてもよい。また、コンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記録され流通されてもよい。また、コンピュータプログラムは、インターネット等の通信回線を通じて配布されてもよい。

また、特殊効果は、上述した例に限定されず、様々な画像処理アルゴリズムによって実現される特殊効果を含む。

本実施の形態による特殊効果装置は、３Ｄ映像の処理に適した特殊効果装置として有用である。

１０ ・・・ 特殊効果装置
１１ ・・・ 範囲指定受付部
１３ ・・・ 第１ブロック分割部
１５ ・・・ ブロックマッチング部
１７ ・・・ 第１特殊効果部
１７ａ・・・ 第１特殊効果処理部
１９ ・・・ 第２ブロック分割部
２１ ・・・ 第２特殊効果部
２１ａ・・・ デプス判定部
２１ｂ・・・ 処理順序決定部
２１ｃ・・・ 第２特殊効果処理部
１０１Ｌ・・・ 左目映像用カメラ
１０１Ｒ・・・ 右目映像用カメラ
１０２ ・・・ 被写体
２０１ａ・・・ 被写体
２０１ｂ・・・ 被写体
２０１ｃ・・・ 被写体
３０１Ｌ・・・ 左目用映像
３０１ＬＰ・・ 特殊効果処理済左目用映像
３０１Ｒ・・・ 右目用映像
３０１ＲＰ・・ 特殊効果処理済右目用映像
４０１Ｌ・・・ 指定範囲
４０１Ｒ・・・ （固定グリッドによる）対応範囲
４０５Ｒ・・・ （視差適応グリッドによる）対応範囲
４５１ ・・・ （固定グリッドによる）視差
４５３ ・・・ （固定グリッドによる）視差
４５５ ・・・ （視差適応グリッドによる）視差
４５７ ・・・ （視差適応グリッドによる）視差
ＦＸＬ ・・・ 特殊効果
ＦＸＲ ・・・ 特殊効果

Claims (8)

1. 視差を有する第１映像および第２映像を含んで構成される３Ｄ映像に特殊効果を施す３Ｄ映像特殊効果装置であって、
   前記第１映像において特殊効果を施す指定範囲の入力を受け付ける範囲指定受付部と、
   前記指定範囲を複数の第１映像ブロックに分割する第１ブロック分割部と、
   前記複数の第１映像ブロックのそれぞれに特殊効果を施す第１特殊効果部と、
   前記複数の第１映像ブロックのそれぞれについて、当該第１映像ブロックの画像に対応する画像を前記第２映像から求め、該第１映像ブロックと該対応する画像との視差の方向および大きさを示す視差ベクトルを求めるブロックマッチング部と、
   前記第２映像から、前記複数の第１映像ブロックのそれぞれに対応する複数の第２映像ブロックを前記視差ベクトルにもとづいて決定する第２ブロック分割部と、
   前記決定した複数の第２映像ブロックのそれぞれに前記特殊効果を施す第２特殊効果部と、を有する３Ｄ映像特殊効果装置。
2. 前記ブロックマッチング部は、前記第２映像の部分領域に対して水平方向にのみブロックマッチングを行う、請求項１に記載の３Ｄ特殊効果装置。
3. 前記ブロックマッチング部が求める視差ベクトルは、一画素単位の精度を有する、請求項１または２に記載の３Ｄ特殊効果装置。
4. 前記第２特殊効果部は、
   前記視差ベクトルの方向および大きさに基づいて前記複数の第２映像ブロックそれぞれの３Ｄ映像におけるデプスを判定するデプス判定部と、
   前記デプスに基づいて、前記複数の第２映像ブロックそれぞれに前記特殊効果を行う順序を決定する順序決定部と、
   前記順序にしたがって前記複数の第２映像ブロックそれぞれに前記特殊効果を施す第２特殊効果処理部と、を備える、請求項１に記載の３Ｄ特殊効果装置。
5. 前記特殊効果は、モザイク処理である、請求項１に記載の３Ｄ特殊効果装置。
6. 前記特殊効果は、コントラスト調整処理である、請求項１に記載の３Ｄ特殊効果装置。
7. 視差を有する第１映像および第２映像を含んで構成される３Ｄ映像に特殊効果を施す３Ｄ映像特殊効果方法であって、
   前記第１映像において特殊効果を施す指定範囲の入力を受け付けるステップと、
   前記指定範囲を複数の第１映像ブロックに分割するステップと、
   前記複数の第１映像ブロックのそれぞれに特殊効果を施すステップと、
   前記複数の第１映像ブロックのそれぞれについて、当該第１映像ブロックの画像に対応する画像を前記第２映像から求め、該第１映像ブロックと該対応する画像との視差の方向および大きさを示す視差ベクトルを求めるステップと、
   前記第２映像から、前記複数の第１映像ブロックのそれぞれに対応する複数の第２映像ブロックを前記視差ベクトルにもとづいて決定するステップと、
   前記決定した複数の第２映像ブロックのそれぞれに前記特殊効果を施すステップと、を有する３Ｄ映像特殊効果方法。
8. 視差を有する第１映像および第２映像を含んで構成される３Ｄ映像に特殊効果を施す３Ｄ映像特殊効果装置のコンピュータに、
   前記第１映像において特殊効果を施す指定範囲の入力を受け付けるステップと、
   前記指定範囲を複数の第１映像ブロックに分割するステップと、
   前記複数の第１映像ブロックのそれぞれに特殊効果を施すステップと、
   前記複数の第１映像ブロックのそれぞれについて、当該第１映像ブロックの画像に対応する画像を前記第２映像から求め、該第１映像ブロックと該対応する画像との視差の方向および大きさを示す視差ベクトルを求めるステップと、
   前記第２映像から、前記複数の第１映像ブロックのそれぞれに対応する複数の第２映像ブロックを前記視差ベクトルにもとづいて決定するステップと、
   前記決定した複数の第２映像ブロックのそれぞれに前記特殊効果を施すステップと、を実行させるための３Ｄ映像特殊効果プログラム。

Images