JP2011223182A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】視聴者に対して違和感や目の負担を与えることなく、３Ｄ映像を切り替える。
【解決手段】ステップＳ１において、制御部１２は、ユーザの選択した切替方法が瞬時切替、ワイプ、またはミックスのいずれであるのかを取得し、ステップＳ２において、選択された切替方法がワイプであると判定した場合、処理をステップＳ３に進める。ステップＳ３，４において、視差計測部は、第１の映像の視差を計測し、視差に基づく第１の奥行きを算出し、同様に、第２の奥行きを算出して比較部５２に出力する。ステップＳ５において、第１の奥行きと第２の奥行きとの差が所定の閾値以上であると判定された場合、ステップＳ７において、ワイプによる切替を禁止する。本発明は、３Ｄ映像の編集装置に適用できる。
【選択図】図７

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、立体視可能な３次元動画像を切り替える場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。

立体視可能な３次元動画像（以下、３Ｄ(dimensional)映像と称する）を表示できるテレビジョン受像機の出現により、３Ｄ映像は映画などの特定のジャンルのコンテンツのみならず、例えばテレビジョン番組などの多様なジャンルのコンテンツに採用されることが見込まれている。

ところで、テレビジョン番組などの作成過程では、映像Ａから、映像Ａとは異なる映像Ｂに切り替える（スイッチングする）などの編集作業が多用される。３Ｄ映像によるコンテンツの作成過程においても同様であり、立体画像の切り替えに適したスイッチャ（編集指示装置）なども提案されている（例えば、特許文献１参照）。

図１は、映像Ａから映像Ｂに切り替える３種類の方法を示している。すなわち、同図Ａは、映像Ａから映像Ｂに瞬時に切り替える方法（瞬時切替）、同図Ｂは、映像Ａの端から順に映像Ｂに切り替える方法（ワイプ）、同図Ｃは、映像Ａの輝度を徐々に下げつつ、映像Ｂの輝度を徐々に上げる切り替え方法（ミックス、またはフェードイン・フェードアウト）を示している。

特開平８−３２１９９２号公報

３Ｄ映像を切り替える場合にも、図１Ａ乃至図１Ｃに示された方法を用いることができる。しかしながら、２Ｄ映像では起こり得ず、３Ｄ映像であるための問題が発生し得る。

具体的には、図１Ｂに示されたワイプによって３Ｄ映像Ａから３Ｄ映像Ｂに切り替える場合において、切り替え途中の映像は図１Ｂの中央の映像のように、３Ｄ映像Ａの領域と３Ｄ映像Ｂの領域が混在しているときに発生し得る。

図２は、切り替え途中の映像をその画面の縦軸の延長線上から見た状態を示している。なお、同図において、画面上の五角形どうしの距離が３Ｄ映像Ａの視差であり、画面上の三角形どうしの距離が３Ｄ映像Ｂの視差である。例えば図２に示されるように、同図の右側を占める３Ｄ映像Ａの視差によって得られる奥行きが画面より手前に設定され、同図の左側を占める３Ｄ映像Ｂの視差によって得られる奥行きが画面の奥に設定されていることにより、画面上に存在する被写体の奥行きに差が大きくなることがある。このような場合、この画面を見ている視聴者に対して違和感を与えてしまうだけでなく、視聴者の目にかかる負担も大きくなり、結果的に見辛い映像となってしまう。

なお、図１Ａに示された瞬時切り替え、および図１Ｃに示されたミックスによる切り替えは、図１Ｂに示されたワイプに比較して、視聴者にとって見辛い映像とはならないことが知られている。

本発明はこのような状況に鑑みてなされたものであり、視聴者に映像に対する違和感や目の負担などを与えてしまうことなく、３Ｄ映像の切り替えを可能にするものである。

本発明の一側面である画像処理装置は、３Ｄ映像を編集する画像処理装置において、複数の切替方法のいずれかにより、編集結果として採用する映像を、第１の３Ｄ映像から第２の３Ｄ映像に切り替える切替手段と、３Ｄ映像における視差を計測し、計測した視差に基づいて得られる奥行きを算出する視差計測手段と、前記第１の３Ｄ映像に対して算出された第１の奥行きと、前記第１の３Ｄ映像とは異なる前記第２の３Ｄ映像に対して算出された第２の奥行きとの差を所定の閾値を比較する比較手段と、前記比較手段の比較結果に応じて、前記切替手段の動作を制限する制限手段と含む。

前記複数の切替方法には、少なくともワイプが含まれ、前記制限手段は、前記第１の奥行きと前記第２の奥行きとの差が所定の閾値よりも大きい場合、前記切替手段を制御して、前記ワイプによる前記第１の３Ｄ映像から前記第２の３Ｄ映像への切り替えを禁止するようにすることができる。

本発明の一側面である画像処理装置は、前記第１および第２の３Ｄ映像を静止画として保持する保持手段をさらに含むことができ、前記切替手段は、前記第１の３Ｄ映像から前記第２の３Ｄ映像に切り替える期間、編集結果として採用する映像に、保持されている前記静止画を用いるようにすることができる。

前記複数の切替方法には、少なくともワイプ、瞬時切替、およびミックスが含まれるようにすることができる。

前記制限手段は、前記第１の奥行きと前記第２の奥行きとの差が所定の閾値よりも大きい場合、前記切替手段を制御して、前記ワイプ以外の切替方法により、前記第１の３Ｄ映像から前記第２の３Ｄ映像への切り替えを実行させるようにすることができる。

本発明の一側面である画像処理方法は、３Ｄ映像を編集する画像処理装置の画像処理方法において、前記画像処理装置による、３Ｄ映像における視差を計測し、計測した視差に基づいて得られる奥行きを算出する視差計測ステップと、第１の３Ｄ映像に対して算出された第１の奥行きと、前記第１の３Ｄ映像とは異なる第２の３Ｄ映像に対して算出された第２の奥行きとの差を所定の閾値を比較する比較ステップと、前記比較ステップの比較結果に応じて、複数の切替方法のいずれかにより、編集結果として採用する映像を、前記第１の３Ｄ映像から前記第２の３Ｄ映像に切り替える動作を制限する制限ステップとを含む。

本発明の一側面であるプログラムは、コンピュータを、複数の切替方法のいずれかにより、編集結果として採用する映像を、第１の３Ｄ映像から第２の３Ｄ映像に切り替える切替手段と、３Ｄ映像における視差を計測し、計測した視差に基づいて得られる奥行きを算出する視差計測手段と、前記第１の３Ｄ映像に対して算出された第１の奥行きと、前記第１の３Ｄ映像とは異なる前記第２の３Ｄ映像に対して算出された第２の奥行きとの差を所定の閾値を比較する比較手段と、前記比較手段の比較結果に応じて、前記切替手段の動作を制限する制限手段とをして機能させる。

本発明の一側面においては、３Ｄ映像における視差が計測され、計測された視差に基づいて得られる奥行きが算出される。そして、第１の３Ｄ映像に対して算出された第１の奥行きと、第２の３Ｄ映像に対して算出された第２の奥行きとの差が所定の閾値と比較され、その比較結果に応じて、編集結果として採用する映像を第１の３Ｄ映像から第２の３Ｄ映像に切り替える動作が制限される。

本発明の一側面によれば、視聴者に対して違和感や目の負担を与えてしまうことなく、３Ｄ映像を切り替えることができる。

映像を切り替える３種類の方法を説明する図である。 ３Ｄ映像をワイプにより切り替えている過程を示した図である。 本発明を適用した３Ｄ映像編集装置の構成例を示すブロック図である。 図３の操作入力部の構成例を示す外観図である。 図３のスイッチャの構成例を示すブロック図である。 図３の３Ｄ映像処理部の構成例を示すブロック図である。 切替処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［３Ｄ映像編集装置の構成例］
図３は、本発明の一実施の形態である３Ｄ映像編集装置の構成例を示している。この３Ｄ映像編集装置１０は、操作入力部１１、制御部１２、スイッチャ１３Ｌおよび１３Ｒ、並びに３Ｄ映像処理部１４から構成される。

操作入力部１１は、ユーザの操作に応じた操作信号を発生して制御部１２に出力する。制御部１２は、入力される操作信号に基づいて制御信号を出力することにより、３Ｄ映像編集装置１０の各部を制御する。

スイッチャ１３Ｌおよび１３Ｒは、ユーザの選択操作に基づく制御部１２からの制御信号に従い、入力される複数Ｍ（例えば、９）種類の映像ソース（３Ｄ映像ソースのみならず、２Ｄ映像が含まれていてもよい）のうちの最大２種類の映像ソースを選択して３Ｄ映像処理部１４に出力する。また、スイッチャ１３Ｌおよび１３Ｒは、入力される複数Ｍの映像ソースの中から１種類を選択したり、複数種類を選択して合成したり、選択を切り替えたりすることにより、編集済みのコンテンツとして後段に出力する。なお、スイッチャ１３Ｌには、映像ソースの左目用の映像が入力され、スイッチャ１３Ｒには、スイッチャ１３Ｌに入力された左目用の映像に対応する右目用の映像が入力される。

３Ｄ映像処理部１４は、スイッチャ１３Ｌから入力される左目用の映像と、それに対応する、スイッチャ１３Ｒから入力される右目用の映像との視差を計測したり、計測結果に基づいて左目用の映像と右目用の映像との視差を調整したりする。さらに、３Ｄ映像処理部１４は、入力される左目用および右目用の映像を保持し、静止画として出力したりする。そして、処理後の映像をそれぞれスイッチャ１３Ｌまたは１３Ｒに入力するための映像ソースとして出力する。

図４は、操作入力部１１の外観の構成例を示している。操作入力部１１には、マトリクススイッチ２１、切替方法選択スイッチ２２、フェーダレバー２３、およびオートフェードスイッチ２４が設けられている。

マトリクススイッチ２１は、行列状に配置された横Ｍ×縦Ｎ個のスイッチから構成される。同図の例の場合、Ｍ＝９、Ｎ＝５であって４５個のスイッチから構成される。

マトリクススイッチ２１の横方向は、スイッチャ１３Ｌおよび１３Ｒに入力されるＭ種類の映像ソースに対応付けられている。同図の場合、左から順に、VTR1の映像ソース、VTR2の映像ソース、CAM１の映像ソース、CAM2の映像ソース、Mainの映像ソース、Subの映像ソース、Figの映像ソース、3DBOX1の映像ソース、3DBOX2の映像ソースに対応付けられている。

マトリクススイッチ２１の縦方向は、Ｎ種類の画像選択に対応付けられている。同図の場合、上から順に、key1としての選択、Key2としての選択、Out1としての選択、Out2としての選択、Out3としての選択に対応付けられている。以下、コンテンツにおける切り替え前の映像（第１の映像）がOut1であり、切り替え後の映像（第２の映像）がOut2であるものとして説明する。

なお、各行（横方向）のＭ個のスイッチは、同時に１つのみをオンとすることができる。例えば、最上段の行で左から２番目のスイッチがオンとされると、第１のキー映像（Key1）としてVTR2の映像ソースが選択される。また例えば、上から３段目の行で左から３番目のスイッチがオンとされると、第１の出力映像（Out1）としてCAM1の映像ソースが選択される。さらに例えば、上から４段目の行で左から４番目のスイッチがオンとされると、第２の出力映像（Out2）としてCAM2の映像ソースが選択される。

切替方法選択スイッチ２２は、例えば、表示中の第１の出力映像を第２の出力映像に切り替えるときの切替方法を選択するためのものであり、例えば、押下される毎に切り替え方法の設定が、瞬時切替、ワイプ、ミックス、瞬時切替、・・・の順に変更される。なお、切替方法選択スイッチ２２を３つのスイッチから構成し、それぞれを瞬時切替、ワイプ、またはミックスに対応付けるようにしてもよい。さらに、ワイプのバリエーション（デジタル特殊効果ワイプなど）を複数設けるようにしてもよい。

フェーダレバー２３は、表示中の第１の出力映像を第２の出力映像に切り替えるときの切替タイミングを制御するものであり、上下方向にスライドできるようになされている。フェーダレバー２３が、例えば最も上側に位置する状態が切替開始時（フェーダ値＝０％）、最も下側に位置する状態が切替終了時（フェーダ値＝１００％）となる。フェーダレバー２３をユーザが任意の速度でスライドさせることにより、切り替えの速度を任意に制御することができる。なお、この他に、切り替え動作の詳細を操作させる各種の操作手段を設けてもよい。

オートフェードスイッチ２４は、フェーダレバー２３を自動的に所定の速度でスライドさせるためのものである。オートフェードスイッチ２４をオンとすることにより、ユーザがフェーダレバー２３を操作しなくても、所定の速度で表示中の第１の出力映像を第２の映像出力に切り替えることができる。

図５は、スイッチャ１３Ｌの構成例を示している。スイッチャ１３Ｌは、補助出力部３１、および入力選択部３２から構成される。なお、スイッチャ１３Ｒも、スイッチャ１３Ｌと同様に構成されるので、その説明は省略する。

補助出力部３１は、Ｍ（以下、Ｍ＝９として説明する）種類のSDI入力ライン４１−１乃至４１−９、補助出力選択バス４２−１および４２−２、並びにビデオ加工部(V Proc)４３−１および４３−２から構成される。

SDI入力ライン４１−１乃至４１−９にはそれぞれ、例えば、図４に示されたVTR1、VTR2、CAM１、CAM2、Main、Sub、Fig、3DBOX1、または3DBOX2の映像ソースが入力される。ただし、SDI入力ライン４１−８および４１−９については、SDI入力ライン４１−１乃至４１−７に入力された映像ソースのうちの２種類が３Ｄ映像処理部１４にて処理された結果が入力されるものとする。

補助出力選択バス４２−１は、制御部１２からの制御に従い、SDI入力ライン４１−１乃至４１−７に入力される７種類の（左目用の）映像ソースのうちの１つをビデオ加工部４３−１に出力する。補助出力選択バス４２−２は、制御部１２からの制御に従い、SDI入力ライン４１−１乃至４１−７に入力される７種類の映像ソースのうちの１つをビデオ加工部４３−２に出力する。ビデオ加工部４３−１は、補助出力選択バス４２−１からの映像ソースに所定のビデオ加工処理を行って３Ｄ映像処理部１４に出力する。ビデオ加工部４３−２は、補助出力選択バス４２−２からの映像ソースに所定の加工処理を行って３Ｄ映像処理部１４に出力する。

入力選択部３２は、加工用バス４４−１および４４−２、入力バス４５−１および４５−２、予備入力バス４６、キー画像加工部４７、ビデオ加工部４８−１乃至４８−３、並びに合成部４９から構成される。

加工用バス４４−１および４４−２は、制御部１２からの制御に従い、SDI入力ライン４１−１乃至４１−９に入力される９種類の映像ソースのうちの１つをキー画像加工部４７に出力する。入力バス４５−１は、３Ｄ映像編集装置１０が編集結果として出力するコンテンツの切替前の第１の映像として、SDI入力ライン４１−１乃至４１−９に入力される９種類の映像ソースのうちの１つをビデオ加工部４８−１に出力する。入力バス４５−２は、３Ｄ映像編集装置１０が編集結果として出力するコンテンツの切替後の第２の映像として、SDI入力ライン４１−１乃至４１−９に入力される９種類の映像ソースのうちの１つをビデオ加工部４８−２に出力する。予備入力バス４６は、予備とする第３の映像として、SDI入力ライン４１−１乃至４１−９に入力される９種類の映像ソースのうちの１つをビデオ加工部４８−３に出力する。

キー画像加工部４７は、加工用バス４４−１および４４−２から入力される映像ソースをキー画像とする所定の加工処理を行い、処理結果の映像を補助出力選択バス４２−１および４２−２、並びに合成部４９に出力する。

ビデオ加工部４８−１乃至４８−３は、入力される映像ソースに所定のビデオ加工処理を行って合成部４９に出力する。

合成部４９は、制御部１２からの制御に従い、キー画像加工部４７、ビデオ加工部４４−１乃至４４−３から入力される映像を選択したり、合成したりすることにより、編集結果として出力ラインから出力するコンテンツの映像を生成する。また合成部４９は、編集結果として出力ラインから出力するコンテンツの映像として、ビデオ加工部４４−１から入力される第１の映像から、ビデオ加工部４４−２から入力される第２の映像に切り替える切り替え処理を実行する。この切替処理の詳細については、図７を参照して後述する。

図６は、３Ｄ映像処理部１４の構成例を示している。３Ｄ映像処理部１４は、視差計測部５１、比較部５２、フレームメモリ５３−１乃至５３−４、および画像処理部５４から構成される。

視差計測部５１は、入力ラインINL1を介してスイッチャ１３Ｌから入力される左目用の映像ソースと、それに対応する、入力ラインINR1を介してスイッチャ１３Ｒから入力される右目用の映像ソースとの視差を計測する。さらに、視差計測部５１は、その視差により得られる奥行き（第１の奥行き）を算出して比較部５２に出力する。なお、奥行きが画面の手前側にある場合と奥側にある場合とを区別するため、例えば、手前側を負の値、奥側を正の値とするようにする。また、画面上における視差と奥行きは、当然ながら画面全体で均一ではないので、例えば、最大値、平均値、または最頻値を採用するようにする。

また、視差計測部５１は、入力ラインINL2を介してスイッチャ１３Ｌから入力される左目用の映像ソースと、それに対応する、入力ラインINR2を介してスイッチャ１３Ｒから入力される右目用の映像ソースとの視差を計測する。さらに、視差計測部５１は、その視差により得られる奥行き（第２の奥行き）を算出して比較部５２に出力する。なお、視差の計測、および奥行きの算出には、既存の手法を適用すればよい。

さらに、視差計測部５１は、視差計測済みの映像ソースをフレームメモリ５３−１乃至５３−４に出力する。

比較部５２は、視差計測部５１から入力される第１の奥行きと第２の奥行きの差を所定の閾値と比較し、その比較結果を制御部１２に通知する。

フレームメモリ５３−１は、スイッチャ１３Ｌから入力ラインINL1を介して入力された、視差計測済みの左目用の映像ソースのフレームを順次保持しつつ画像処理部５４に出力する。フレームメモリ５３−２は、スイッチャ１３Ｌから入力ラインINL2を介して入力された、視差計測済みの左目用の映像ソースのフレームを順次保持しつつ画像処理部５４に出力する。フレームメモリ５３−３は、スイッチャ１３Ｒから入力ラインINR1を介して入力された、視差計測済みの右目用の映像ソースのフレームを順次保持しつつ画像処理部５４に出力する。フレームメモリ５３−４は、スイッチャ１３Ｒから入力ラインINR2を介して入力された、視差計測済みの右目用の映像ソースのフレームを順次保持しつつ画像処理部５４に出力する。

画像処理部５４は、フレームメモリ５３−１からの左目用の映像ソースと、それに対応するフレームメモリ５３−３からの右目用の映像ソースとの視差を調整し、それぞれを出力ラインOUTL1またはOUTR1を介してスイッチャ１３Ｌまたは１３Ｒに出力する。また、画像処理部５４は、フレームメモリ５３−２からの左目用の映像ソースと、それに対応するフレームメモリ５３−４からの右目用の映像ソースとの視差を調整し、それぞれを出力ラインOUTL2またはOUTR2を介してスイッチャ１３Ｌまたは１３Ｒに出力する。なお、画像処理部５４にて視差を調整することなく、フレームメモリ５３−１乃至５３−４からの映像ソースをそのままスイッチャ１３Ｌまたは１３Ｒに出力するようにしてもよい。

［動作説明］
次に、３Ｄ映像編集装置１０の動作について、例えば、３Ｄ映像編集装置１０に入力される映像ソースのうち、出力するコンテンツの映像にCAM1の映像ソースを採用し、その後にCAM2の映像ソースに切り替える場合について説明する。

初めに、CAM1の映像ソースを切り替え前の映像（第１の映像）とするために、ユーザは操作入力部１１のマトリクススイッチ２１の上から３段目、左から３番目のスイッチをオンとする。また、CAM2の映像ソースを切り替え後の映像（第２の映像）として指定しておくために、マトリクススイッチ２１の上から４段目、左から４番目のスイッチをオンとする。また、ユーザは操作入力部１１の切替方法選択スイッチ２２により切替方法を選択する。

マトリクススイッチ２１に対する操作に応じた制御部１２からの制御に従い、スイッチャ１３Ｌの入力バス４５−１では、SDI入力ライン４１−３に入力されているCAM1の左目用の映像ソースが選択され、ビデオ加工部４８−１を介して合成部４９に入力される。また、入力バス４５−２では、SDI入力ライン４１−４に入力されているCAM2の左目用の映像ソースが選択され、ビデオ加工部４８−２を介して合成部４９に入力される。そして、現在は映像の切替前なので、合成部４９からは、CAM1の左目用の映像ソースが出力される。スイッチャ１３Ｒでも同様に、出力ラインからCAM1の右目用の映像ソースが出力される。

また、マトリクススイッチ２１に対する操作に応じた制御部１２からの制御に従い、スイッチャ１３Ｌの補助出力バス４２−１では、SDI入力ライン４１−３に入力されているCAM1の左目用の映像ソースが選択されて、入力ラインINL1を介して３Ｄ映像処理部１４の視差計測部５１に入力される。また、スイッチャ１３Ｌの補助出力バス４２−２では、SDI入力ライン４１−４に入力されているCAM2の左目用の映像ソースが選択されて、入力ラインINL2を介して３Ｄ映像処理部１４の視差計測部５１に入力される。

一方、スイッチャ１３Ｒでも同様に、CAM1の右目用の映像ソースが選択されて、入力ラインINR1を介して３Ｄ映像処理部１４の視差計測部５１に入力され、CAM2の右目用の映像ソースが選択されて、入力ラインINR2を介して３Ｄ映像処理部１４の視差計測部５１に入力される。

視差計測部５１では、CAM１の映像ソースの視差に基づく第１の奥行きと、CAM2の映像ソースの視差に基づく第２の奥行きが算出されて比較部５２に出力される。比較部５２では、第１の奥行きと第２の奥行きとの差が所定の閾値と比較され、その比較結果が制御部１２に通知される。

制御部１２では、通知される比較結果と、切替方法選択スイッチ２２による選択とに基づき、選択されている切替方法の実行を許可するか否かが判定される。

そして、選択されている切替方法の実行が許可された場合のみ、ユーザによってフェーダレバー２３がスライドされるか、またはオートフェードスイッチ２４が押下されることに応じ、合成部４９により、選択されている切替方法によりCAM1の映像からCAM2の映像に切替が行われる。ただし、切り替えの期間（フェーダ値が０％から１００％の期間）は、スイッチャ１３Ｌの入力バス４５−１では、SDI入力ライン４１−８に入力されている、３Ｄ映像処理部１４を経由したCAM1の左目用の映像ソースが選択され、入力バス４５−２では、SDI入力ライン４１−９に入力されている、３Ｄ映像処理部１４を経由したCAM2の左目用の映像ソースが選択される。スイッチャ１３Ｒにおいても同様である。これにより、切替の期間には、３Ｄ映像処理部１４を経由した映像が用いられることになる。

なお、上述した動作によれば、切替の期間においても映像は動画であるが、切替の期間における映像を静止画としてもよい。この場合には、３Ｄ映像処理部１４が、内蔵するフレームメモリ５３にて保持した静止画を出力するようにすればよい。動画の場合は奥行きが刻々と変化してしまうため、期間の途中で状況が大きく変化する可能性があるが、切替の期間の映像を静止画とすることにより、切り替え中の映像を見た視聴者に対して違和感や目の負担を与えてしまうことを抑止することができる。
さらに、切替の期間において静止画を出力し、その後入力されている動画そのままに切り返す際に、所定の期間（例えば３０フレーム）を掛けてフレームメモリ５３の静止画から入力されている動画にミックス（フェードインとフェードアウト）効果を施して切り替えても良く、こうすることで、見た視聴者が感じる違和感をさらに減らすことができる。

図７は、上述した動作のうち、選択されている切替方法の実行を許可するか否かを判定するまで処理（以下、許可判定処理と称する）を説明するフローチャートである。

ステップＳ１において、制御部１２は、操作入力部１１の切替方法選択スイッチ２２を用いてユーザの選択した切替方法が瞬時切替、ワイプ、またはミックスのいずれであるのかを取得する。ステップＳ２において、制御部１２は、選択された切替方法がワイプであるか否かを判定する。選択された切替方法がワイプであると判定された場合、処理はステップＳ３に進められる。

ステップＳ３において、３Ｄ映像処理部１４の視差計測部５１は、第１の映像（いまの場合、CAM１の映像ソース）の視差を計測し、視差に基づく第１の奥行きを算出して比較部５２に出力する。ステップＳ４において、視差計測部５１は、第２の映像（いまの場合、CAM2の映像ソース）の視差を計測し、視差に基づく第２の奥行きを算出して比較部５２に出力する。

ステップＳ５において、比較部５２は、第１の奥行きと第２の奥行きとの差を算出し、その差を所定の閾値と比較して、比較結果を制御部１２に通知する。制御部１２は、通知された比較結果に基づき、第１の映像の奥行きと第２の映像の奥行きとの差が所定の閾値以上であるか否かを判定する。そして、当該差が所定の閾値以上ではない（所定の閾値よりも小さい）と判定された場合、処理をステップＳ６に進める。

ステップＳ６において、制御部１２は、ユーザによって選択された切替方式（いまの場合、ワイプ）を許可する旨を合成部４９に通知する。これにより、合成部４９は、ユーザによってフェーダレバー２３がスライドされるか、またはオートフェードスイッチ２４が押下されることに応じ、コンテンツの映像を、入力バス４５−１からの第１の映像ソースから、入力バス４５−２からの映像ソースに選択された切替方式によって切り替える。

なお、ステップＳ５において、第１の映像の奥行きと第２の映像の奥行きとの差が所定の閾値以上であると判定された場合、処理をステップＳ７に進める。ステップＳ７において、制御部１２は、ユーザによって選択された切替方式（いまの場合、ワイプ）を許可しない旨を合成部４９に通知する。これにより、合成部４９は、ユーザによってフェーダレバー２３がスライドされたり、またはオートフェードスイッチ２４が押下されたりしても、切替を実行しない。すなわち、ワイプによる切替を禁止するようにする。ただし、切替自体を実行しないのではなく、例えば、瞬時切替などワイプ以外の切替方法により、切替を実行するようにしてもよい。

この場合、切替方法の変更を操作入力部１１の切替方法選択スイッチ２２の状態に反映させて、ユーザが、現状、どういう切替方法になっているか認識できるようにしてもよい。すなわち、操作入力部１１の切替方法選択スイッチ２２に点灯状態の変化などにより切替方法を表示する様にし、その状態を変化させる。さらにまた、ワイプ以外の切替方法に変更された場合、ユーザが認識しやすいように、別に設けたブザーや別に設けた表示器へのアラーム表示などにより通知するようにしてもよい。

なお、切替方法の変更を行う場合は、既に切替が始まっていて、切替期間の中にいる間は、切替方法を変更しないように抑制することが好ましい。この状況が生じた場合も、例えば表示器へのアラーム表示などでユーザに通知してもよい。

ステップＳ２において、選択された切替方法がワイプではない（瞬時切替、またはミックスである）と判定された場合、処理はステップＳ６に進められる。

ステップＳ６において、制御部１２は、ユーザによって選択された切替方式（いまの場合、瞬時切替、またはミックスである）を許可する旨を合成部４９に通知する。これにより、合成部４９は、ユーザによってフェーダレバー２３がスライドされるか、またはオートフェードスイッチ２４が押下されることに応じ、コンテンツの映像を、入力バス４５−１からの第１の映像ソースから、入力バス４５−２からの映像ソースに選択された切替方式によって切り替える。以上で、許可判定処理の説明を終了する。

以上に説明したように、３Ｄ映像編集装置１０によれば、３Ｄ映像の切り替えに、瞬時切り替え、ワイプ、またはミックスを用いることができるので、出力されるコンテンツの表現力や付加価値を上げることができる。ただし、ユーザによって切替方法としてワイプが選択されても、第１の映像の奥行きと第２の映像の奥行きとの差が所定の閾値以上である場合には、ワイプによる切替を禁止するようにしたので、切り替え中の映像を見た視聴者に対して違和感や目の負担を与えてしまうことを軽減できる。

なお、ここではワイプを例に挙げたが、単なるワイプ以外に、画面上で２つの映像の領域が分かれる切替効果の場合は、同じような処理の対象になる。デジタル特殊効果装置を用いた場合も同様である。

視差の計測は常時行わせることが可能であるので、常時、現在ワイプが可能な状態であるかを、操作手段に設ける表示器に表示するようにしてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０ ３Ｄ映像編集装置， １１ 操作入力部， １２ 制御部， １３ スイッチャ， １４ ３Ｄ映像処理部， ２１ マトリクススイッチ， ２２ 切替方法選択スイッチ， ２３ フェーダレバー， ２４ オートフェーダスイッチ， ３１ 補助出力部， ３２ 入力選択部， ４１ SDI入力ライン, ４２ 補助出力ライン, ４３ ビデオ加工部, ４４ 加工用バス, ４５ 入力バス， ４６ 予備入力バス， ４７ キー画像加工部， ４８ ビデオ加工部， ４９ 合成部， ５１ 視差計測部， ５２ 比較部， ５３ フレームメモリ， ５４ 画像処理部， １００ コンピュータ， １０１ CPU

Claims (7)

1. ３Ｄ(dimensional)映像を編集する画像処理装置において、
   複数の切替方法のいずれかにより、編集結果として採用する映像を、第１の３Ｄ映像から第２の３Ｄ映像に切り替える切替手段と、
   ３Ｄ映像における視差を計測し、計測した視差に基づいて得られる奥行きを算出する視差計測手段と、
   前記第１の３Ｄ映像に対して算出された第１の奥行きと、前記第１の３Ｄ映像とは異なる前記第２の３Ｄ映像に対して算出された第２の奥行きとの差を所定の閾値を比較する比較手段と、
   前記比較手段の比較結果に応じて、前記切替手段の動作を制限する制限手段と
   を含む画像処理装置。
2. 前記複数の切替方法には、少なくともワイプが含まれ、
   前記制限手段は、前記第１の奥行きと前記第２の奥行きとの差が所定の閾値よりも大きい場合、前記切替手段を制御して、前記ワイプによる前記第１の３Ｄ映像から前記第２の３Ｄ映像への切り替えを禁止する
   請求項１に記載の画像処理装置。
3. 前記第１および第２の３Ｄ映像を静止画として保持する保持手段を
   さらに含み、
   前記切替手段は、前記第１の３Ｄ映像から前記第２の３Ｄ映像に切り替える期間、編集結果として採用する映像に、保持されている前記静止画を用いる
   請求項２に記載の画像処理装置。
4. 前記複数の切替方法には、少なくともワイプ、瞬時切替、およびミックスが含まれる
   請求項２に記載の画像処理装置。
5. 前記制限手段は、前記第１の奥行きと前記第２の奥行きとの差が所定の閾値よりも大きい場合、前記切替手段を制御して、前記ワイプ以外の切替方法により、前記第１の３Ｄ映像から前記第２の３Ｄ映像への切り替えを実行させる
   請求項４に記載の画像処理装置。
6. ３Ｄ(dimensional)映像を編集する画像処理装置の画像処理方法において、
   前記画像処理装置による、
   ３Ｄ映像における視差を計測し、計測した視差に基づいて得られる奥行きを算出する視差計測ステップと、
   第１の３Ｄ映像に対して算出された第１の奥行きと、前記第１の３Ｄ映像とは異なる第２の３Ｄ映像に対して算出された第２の奥行きとの差を所定の閾値を比較する比較ステップと、
   前記比較ステップの比較結果に応じて、複数の切替方法のいずれかにより、編集結果として採用する映像を、前記第１の３Ｄ映像から前記第２の３Ｄ映像に切り替える動作を制限する制限ステップと
   を含む画像処理方法。
7. コンピュータを、
   複数の切替方法のいずれかにより、編集結果として採用する映像を、第１の３Ｄ(dimensional)映像から第２の３Ｄ映像に切り替える切替手段と、
   ３Ｄ映像における視差を計測し、計測した視差に基づいて得られる奥行きを算出する視差計測手段と、
   前記第１の３Ｄ映像に対して算出された第１の奥行きと、前記第１の３Ｄ映像とは異なる前記第２の３Ｄ映像に対して算出された第２の奥行きとの差を所定の閾値を比較する比較手段と、
   前記比較手段の比較結果に応じて、前記切替手段の動作を制限する制限手段と
   して機能させるプログラム。

Images